Zamek został wzniesiony przez Jagiełłę w latach 1424-1428. Z czasem, przy zamku powstała konkurująca z krzyżackim Toruniem osada, nazwana Nieszawą. W 1431 roku wojska Torunia i Krzyżaków zdobyły zamek i spaliły Nieszawę. Niedługo potem Krzyżacy zamek odrestaurowali i osadzili w nim swoją załogę. Po 4 latach po zawarciu pokoju w Brześciu Kujawskim zamek wraz z lewym brzegiem Wisły wrócił do Polski. 

W 1454 roku król Kazimierz Jagiellończyk wydał tu statuty nieszawskie. Od 1456 roku zamek był siedzibą starostów królewskich. Znajdowała się tu także komora celna, co spowodowało częściowe przekształcenie założenia zamkowego na cele gospodarcze. Położona przy zamku Nieszawa była niewygodnym konkurentem w handlu dla Torunia, więc w skutek żądań toruńskich mieszczan w 1460 roku mieszkańców Nieszawy wysiedlono o 30 km. w górę Wisły, gdzie powstało miasto Nieszawa wówczas zwane Nową Nieszawą. W dybowskim zamku gościli królowie polscy odwiedzający Toruń i Prusy Królewskie. 

W czasie polsko-szwedzki wojen zamek został spalony przez Szwedów w 1656 roku. W 1704 roku, kiedy Szwedzi oblegali Toruń z zamku ostrzeliwano miasto. W odwecie polskie wojska stacjonujące w mieście ostrzelały zamek, przez co zniszczono jego znaczną część mieszkalną od strony rzeki. W XVIII wieku zamek był własnością rodu Dębskich a po rozbiorach utworzono w nim gorzelnię. W 1813 roku czterdziestu Francuzów pod dowództwem porucznika Savary wytrzymało w zamku 3-miesięczne oblężenie Rosjan, kapitulując dopiero wraz z Toruniem. W 1848 roku w murach zamku przebito nowe, do dzisiaj widoczne strzelnice. Zamek przetrwał do czasów współczesnych w formie ruiny, zachowały się imponujące mury obwodowe, obwarowania i 2-kondygnacyjna wieża bramna. 

Najstarszą częścią zamku był prostokątny dom zamkowy, znajdujący się od strony Wisły, który miał 3 piętra, piwnice i był przykryty dwuspadowym dachem ze szczytami przy krótszych bokach. Dom o wymiarach 46x15 metrów posiadał zdobione wnętrza w części reprezentacyjnej znajdującej się na I piętrze. Z domu zamkowego, w kierunku rzeki prowadził ukośny ganek do nieistniejącej obecnie wieży latrynowej. 

Do zamkowego domu przylegały mury obronne zwieńczone blankami otaczające dziedziniec o wymiarach 52x28 metrów, na których narożach w połowie XV wieku wybudowano okrągłe wieżyczki, umożliwiając prowadzenie ostrzału z broni palnej. Od południowej strony znajdowała się czworokątna, trzypiętrowa wieża bramna z przedbramiem. 

Na obrazie z XVIII wieku, a także na rysunku Gwidde'go z 1697 roku widać, że zamek posiadał także trzecią dużą, okrągłą wieżę. Znajdowała się od strony rzeki, po przeciwnej stronie do wieży latrynowej. Cały zamek otoczony był nawodnioną fosą. 


fot. Kapitel, CC BY-SA 4.0, via Wikimedia Commons