Pierwsze przekazy o istnieniu osady w miejscu pałacu (potwierdzone badaniami archeologicznymi) pochodzą z XVI wieku. Prawdopodobnie znajdował się tu dwór sekretarza królewskiego Mikołaja Raczkowicza, po którego śmierci wdowa Katarzyna Wołłowiczówna wniosła do majątku drugiego męża Piotra Wiesiołowskiego. Na jego polecenie wzniesiono murowany gotycko-renesansowy zamek. Zamek posiadał dwie kondygnacje, otoczony był fosą i umocnieniami ziemnymi. Syn Piotra - Krzysztof Wiesiołowski został marszałkiem wielkim litewskim. Przed bezpotomną śmiercią w 1637 roku zapisał swoje dobra skarbowi Rzeczypospolitej, a jego żona otrzymała w zamku jedynie dożywocie.

Za zasługi położone przez Stefana Czarnieckiego w wojnie ze Szwedami, sejm Rzeczypospolitej nadał mu dobra białostockie. Czarniecki przekazał Białystok wraz z zamkiem swojej córce Katarzynie, żonie Jana Klemensa Branickiego, stolnika koronnego. Od tego czasu zamek stał się siedzibą rodu Branickich herbu Gryf.

Ojciec Jana Klemensa Branickiego zlecił przekształcenie zamku w barokową rezydencję. Trwająca w latach 1691-1697 przebudowa całkowicie zmieniła oblicze budowli, m.in. jedna z baszt została zaadaptowana na klatkę schodową. W drugiej baszcie usytuowano komnaty. Podczas kolejnej przebudowy postawiono jońską kolumnadę, wiele rzeźb oraz podwyższono boczne oficyny. Z dawnego zamku, obecnie widoczne są jedynie zarysy bastionu nieopodal stawu. Pozostała także legenda o istniejącym podziemnym przejściu między zamkiem a wieżą stojącego w pobliżu kościoła farnego, który w XVII wieku również był przystosowany do obrony.

Dalszej rozbudowy dokonano już na zlecenie Jana Klemensa Branickiego i jego żony Izabeli Poniatowskiej. Podczas przebudowy dodano jedną kondygnację, hełmy na wieżach oraz tympanon od strony fasady. W miejscu wcześniejszych oficyn i alkierzy zbudowano skrzydła boczne na wzór francuski, w efekcie czego dziedziniec został ujęty podkową, do którego prowadziła brama zbudowana w 1758 roku. W latach 1750-1771 ukształtowano ostateczną bryłę pałacu, urządzono wnętrza w rokokowym stylu i ukształtowano klatkę schodową z rzeźbami Jana Chryzostoma Redlera i dwoma atlantami. Pomiędzy dziedzińcem wstępnym i honorowym postawiono kolejne dwie monumentalne rzeźby Redlera - „Herkules walczący z hydrą" i „Herkules walczący ze smokiem”. Pałac jest dziełem wielu wspaniałych artystów tj. jak m.in. ww. Redler, Jan Zygmunt Deybel, Pierre Ricaud de Tirregaille czy Jakub Fontana.

Braniccy skupili wokół siebie również wielu znakomitych poetów i ludzi nauki. Przez wiele lat przebywała tu poetka Elżbieta Drużbacka, tu tworzył poeta Franciszek Karpiński. Działały tu teatr, zespół baletowy, orkiestra dworska, na występy przyjeżdżały aktorski włoskie. W pałacu gościli: król August II, król August III, książę kurlandzki Karol Krystian Wettyn, biskup Ignacy Krasicki, Stanisław August Poniatowski, cesarz Józef II Habsburg wielki książę Paweł, późniejszy car, król Ludwik XVIII oraz posłowie tureccy, angielscy, rosyjscy i francuski.

W 1754 roku przy pałacu powstała pierwsza w Polsce uczelnia wojskowa - Wojskowa Szkoła Budownictwa i Inżynierii. W późniejszym okresie mieściła się tu Szkoła Akuszeryjna a od 1733 roku Szkoła Akademicka Zgromadzenia Białostockiego, utworzona przez Komisję Edukacji Narodowej.

Według testamentu hetmana Branickiego, pałac miał pozostać w rękach żony Izabeli dożywotnio, a następnie przejść w ręce Potockich. Jedna z powodu upadku Rzeczypospolitej spadkobiercy w 1802 roku sprzedali nieruchomość królowi pruskiemu z zastrzeżeniem, że nie może go przejąć przed śmiercią Izabeli. W 1807 roku pałac przeszedł w posiadanie cara Rosji Aleksandra I.

W okresie zaboru rosyjskiego pałac został w znacznym stopniu ograbiony z wyposażenia. Ponad 20 rzeźb wywieziono do Petersburga. W 1826 roku skuto rzeźby zdobiące attykę, zlikwidowano ornamenty z fasady a z dachu zrzucono barokowe hełmy. W 1841 roku umieszczono tu pensję dla panien z wyższych sfer rosyjskich - Instytut Dobrze Urodzonych Panien. W tym czasie z ogrodu francuskiego zabrano ponad 100 figur pod pretekstem, że nagie rzeźby mogłyby deprawować pensjonariuszki. Zburzono również teatr Branickiego i zasypano większość stawów.

I Wojna Światowa oszczędziła pałac. Podczas wojny mieścił się tu szpital polowy. Po zakończeniu wojny pałac był rezydencją wojewody i siedzibą urzędu wojewódzkiego. Przez krótki okres czasu, podczas wojny polsko-bolszewickiej pałac był także siedzibą Tymczasowego Komitetu Rewolucyjnego Polski.

W 1944 roku pałac w około 70% został zniszczony przez wycofujących się Niemców. Dzieła zniszczenia dopełniła w tym samym roku Armia Czerwona niszcząc to, co pozostało. W latach 1946-1960 pałac odbudowano do formy, w jakiej prezentował się w XVIII wieku. Do 1990 roku odbudowano Pawilon Toskański i kaplicę pałacową z kopułą i kopiami prac Augustyna Mirysa. W 2011 roku ukończono rekonstrukcję Pawilonu pod Orłem, który dawniej pełnił rolę woliery.

W 2012 roku ukończono rekonstrukcję ogrodów, która odbywała się na podstawie przeprowadzonych prac archeologicznych i badań dawnych planów i opisów z epoki.

Obecnie w pałacu siedzibę ma rektorat Uniwersytetu Medycznego w Białymstoku.