Pierwotnie był to zamek książęcy o cechach obronnych z XV w., siedziba książąt zatorskich z górnośląskiej linii piastowskiej, później starostów.

W 1778 roku zakupiony został przez Duninów i częściowo przebudowany z dobudową drugiego piętra. Kolejni prywatni właściciele pałacu i dóbr zatorskich to: Poniatowscy, Tyszkiewiczowie, Wąsowiczowie, Potoccy.

W 1836 roku Potoccy częściowo przebudowali nadając mu formę rezydencji w stylu romantycznego neogotyku.

Na parterze znajdują się bogato zdobione sale: myśliwska, złota, paprociowa, bluszczowa.

W 1945 roku zamek został bezprawnie odebrany prawowitym właścicielom przez władze PRL. Od 1946 roku był siedzibą Instytutu Zootechniki, ostatnio Rybackiego Zakładu Doświadczalnego. W 1947 roku wpisany do rejestru zabytków.
Po procesie spadkowym na początku 2013 roku zamek został odzyskany przez ród Potockich.