Znany dzisiaj jako Dom Zarazy budynek, nazywano dawniej Wielką Bramą lub Domem Bramnym. Zbudowany około XIV wieku, uważany był za perłę gotyku i stanowił główną bramę wjazdową w obręb łańcucha murów obronnych, okalających mieszczące się tutaj opactwo cystersów. W II-kondygnacyjnym budynku mieściły się siedziba wójta klasztornego i kaplica św. Bernarda. Ponadto brama pełniła funkcje reprezentacyjne - do miasta wjeżdżali nią znamienici goście, w tym królowie Polski.

W 1709 roku Gdańsk nawiedziła epidemia dżumy, podczas której zmarła połowa mieszkańców miasta. Wówczas w kaplicy Domu Bramnego zaimprowizowano kwarantannę oraz kościół dla chorych. Do opieki nad narażonymi sprowadzono sześciu mnichów - trzech ochotników i trzech wyłonionych przez losowanie, spośród których żaden nie przeżył. Dla upamiętnienia tych wydarzeń Dom Bramny zaczęto nazywać Domem Zarazy a kaplicę - Kaplicą Zarazy.

W schodkowym szczycie wschodnim znajdują się gotyckie wnęki a w zachodniej części przyziemia - zamknięty półokrągłym łukiem przejazd. Prawdopodobnie w XVIII wieku na budynku zainstalowano dwa zegary słoneczne. Od 1804 roku urzędował w nim oliwski sołtys. W 1836 roku przebudowano wnętrze, przystosowując je m.in. do roli sołectwa i zakładając w nim dwie cele dla przestępców. Urząd sołecki funkcjonował tu do 1910 roku. Następnie budynek pełnił funkcje mieszkalne. W 1945 roku obiekt częściowo spłonął, jego odbudowę ukończono w 1963 roku, a 4 lata później wpisano do rejestru zabytków.