Bractwo św. Jerzego zbierało się początkowo w Dworze Artusa, później powstała własna siedziba wybudowana w stylu flamandzkim obok Złotej Bramy.

W przyziemiu znajdowały się strzelnica dla łuczników i pomieszczenia do przechowywania łuczniczego sprzętu. Na I piętrze umiejscowiono wielką salę zebrań bractwa, biesiad, celebrowania ważnych uroczystości i przedstawień teatralnych. W 1566 roku szczyt kopuły wieńczącej budowlę ozdobiono figurą św. Jerzego zabijającego smoka.

Po rozwiązaniu bractwa w 1798 roku budynek przeszedł na własność miasta. Na parterze umiejscowiono odwach a na piętrze szkołę sztuk pięknych.

Po zniszczeniach wojennych budynek odbudowano w latach 1950-1953. Wieńcząca dach figura św. Jerzego ocalała ewakuowana z miasta i umieszczona w budynku elektrowni wodnej Bielkowo.

Obecnie budynek mieści siedzibę Oddziału Wybrzeże Stowarzyszenia Architektów Polskich. Od 1967 roku figuruje w rejestrze zabytków.