W 1075 roku w Płocku utworzono biskupstwo. Przez pierwsze 200 lat biskup i pomagający mu księża mieszkali na książęcym zamku, przy katedrze. W XIV wieku podjęto decyzję o budowie domu dla biskupa. Resztki tej budowli (prawdopodobnie jednej z pierwszych murowanych) mogą znajdować się gdzieś pod sądem. Płoccy biskupi nie przepadali za swoją siedzibą i wiadomo, że w XV wieku woleli spędzać czas w swojej rezydencji w Pułtusku, skąd bliżej było im do Warszawy.

W 1600 roku biskup Wojciech Baranowski rozpoczął budowę nowego pałacu z frontem na Rynek Kanoniczny i ogrodem z winnicą na stokach skarpy. Pałac składał się z trzech budynków. Przez lata był wielokrotnie modernizowany. Biskupi nie mieszkali w nim, więc kiedy tylko przez Płock przechodziły jakieś wojska, zajmowały pałac. Pod koniec XVII wieku biskup Hieronim Szeptycki po raz kolejny zaczął odnawiać pałac. Budynek właściwie został wzniesiony na nowo. Pracę dokończył i urządził wnętrza biskup Jerzy Michał Poniatowski, najmłodszy brat Stanisława Augusta Poniatowskiego. Dzięki ich staraniom powstał piętrowy pałac o dwóch fasadach, otoczony oficynami i stajniami, o drewnianych podłogach układanych w szachownice, z oknami w dębowych ramach, kryty dachówką i masą obitych w skórę mebli.