Zamek znajduje się w miejscu średniowiecznego zamku zniszczonego w 1477 roku w wyniku akcji militarnej wojsk króla Kazimierza Jagiellończyka przeciwko Komorowskim herbu Korczak. Odbudowa miała miejsce w latach 1485-1500. W 1567 roku miała miejsce rozbudowa prowadzona przez Komorowskich. Staraniem Jana Spytka Komorowskiego zbudowano wówczas arkadowy renesansowy dziedziniec, który w swym pierwotnym układzie zachował się do dnia dzisiejszego.

W 1987 roku Zamek wpisano do rejestru zabytków.

Od 2005 roku Zamek jest siedzibą Muzeum Miejskiego w Żywcu, co umożliwia zwiedzanie wnętrz.

W 2014 roku Habsburgowie zrzekli się roszczeń reprywatyzacyjnych do Starego Zamku i Parku Habsburgów.