Pałac zaprojektował Karol Pietschka na polecenie arcyksięcia Albrechta Fryderyka Habsburga. W latach 1893–1895 powstało nowe skrzydło pokryte szklanym dachem, gdzie urządzono pokoje gościnne i sypialnie. Gdy po zmarłym wuju dobra żywieckie przejął Karol Stefan Habsburg-Lotaryński, dokonano kolejnej rozbudowy, dobudowując pawilon na przedłużenie skrzydła południowego. W pawilonie mieściła się sala balowa wypełniona taflami lustrzanymi. Ostatniej rozbudowy dokonano w 1911 roku, dobudowując trzyosiowy ryzalit z dwoma bocznymi balkonami.

Arcyksiążę Karol Stefan Habsburg-Lotaryński był miłośnikiem sztuki. W pałacu zgromadził pokaźny zbiór obrazów malarzy zarówno polskich jak i europejskich. Słynna była także kolekcja sreber o wadze około 500 kg zgromadzona na zamku, skradziona w czasie wojny przez Niemców.

Po Wojnie, w pałacu urządzono szkołę. W 1987 roku obiekt wpisano do rejestru zabytków.

We wrześniu 2001 roku do pałacu powróciła córka arcyksięcia Karola Olbrachta, księżna Maria Krystyna Altenburg, dla której urządzono mieszkanie w jednym ze skrzydeł dawnej rezydencji (w miejscu dawnej kręgielni). Księżna mieszkała tu do swojej śmierci w 2012 roku.

Szkoła znajdowała się w pałacu do czerwca 2013 roku, po czym została przeniesiona pod inny adres. Po tym wydarzeniu rodzina Habsburgów wystąpiła z wnioskiem o zwrot majątku.