Pałac składa się ze starszego skrzydła wschodniego z XV wieku oraz skrzydła południowego z XVII wieku.

Tzw. Stary Pałac, czyli najstarsza część budynku powstał w XV wieku, w stylu gotyckim. Pozostałością są wymiary oraz układ cegły (na zewnątrz pozostawiono nieotynkowane fragmenty muru) i gotyckie sklepienie krzyżowe w piwnicach. Do dzisiejszych rozmiarów pałac został rozbudowany po 1577 roku. Opatom służył do XVII wieku. W I połowie XVII wieku dobudowano do niego tzw. Nowy Pałac.

Ostateczny kształt budynek otrzymał podczas przebudowy w latach 1754-1756. Utrzymany jest w stylu rokoko.

1 października 1831 roku nastąpiła likwidacja klasztoru oliwskiego, a jego dobra rozdzielono pomiędzy miasto Gdańsk i króla Pruskiego.

W okresie Wolnego Miasta Gdańska w pomieszczeniach pałacowych znajdowało się muzeum krajowe.

Pod koniec II Wojny Światowej, w 1945 roku Niemcy podpalili pałac, w ramach czyszczenia przedpola frontu przed Armią Czerwoną. Pałac odbudowano w 1965 roku wysiłkiem Muzeum Pomorskiego i pełnił funkcję oddziału etnograficznego muzeum. Od 1989 roku mieści się tu Oddział Sztuki Nowoczesnej Muzeum Narodowego w Gdańsku. Ekspozycja stała obejmuje dzieła polskich artystów XIX i XX wieku (rzeźba, malarstwo, ceramika). Znajduje się tu także Galeria Promocyjna, w której prezentowane są prace młodych twórców. Organizowane są często wystawy czasowe sztuki współczesnej, konferencje, koncerty muzyki kameralne, spotkania z artystami. Latem odbywa się festiwal muzyki Mozarta.