Budynek wzniesiono w latach 1644-1653 w stylu barokowym. Początkowo mieściło się tu Kolegium Jezuickie.

Budynek wraz z kościołem jezuickim stanowił jeden z okazalszych kompleksów budynków w staropolskiej Bydgoszczy. Był ozdobą Bydgoszczy, przyciągał różnych dostojnych i nieproszonych gości. Gościli w nim m.in. król Jan Kazimierz z małżonką czy książe Prus Fryderyk Wilhelm.

W 1770 roku po kasacie zakonu budynek przeznaczono na gimnazjum niemieckie.

Po upadku Księstwa i ponownym włączeniu Bydgoszczy do Królestwa Prus w budynku umieszczono niemieckie gimnazjum królewskie. W 1879 roku budynek został zakupiony przez miasto i stał się siedzibą magistratu. Przebudowa poza zmianą stylizacji fasady zmieniła wewnętrzny układ pomieszczeń, dostosowując go do potrzeb urzędu. Uroczyste oddanie gmachu magistratu do użytku nastąpiło 19 grudnia 1879 roku.