Zamek został wzniesiony z ogólnodostępnego w rejonie Kazimierza Dolnego wapienia. Początkowo jego kształt był zbliżony do owalu i otoczony grubymi na dwa metry murami obwodowymi z blankami. Przypuszcza się, że na wewnętrznym dziedzińcu znajdowały się drewniane zabudowania.

Kazimierski zamek, podobnie jak inne warownie w XIV wieku pełnił funkcje administracyjne w państwie Piastów. Stanowiły one raczej założenia powielające największe skupiska demograficzne, miasta, centra administracyjne czy handlowe (Kazimierz był ważnym miastem portowym).

W XV wieku, zarządzający zamkiem ród Grotów dokonał rozbudowy zamku. Dobudowano m.in. dwukondygnacyjne skrzydło mieszkalne od południowej, kwadratową ceglaną wieżę mieszkalno-obronną od strony Wisły i przylegające do niej skrzydło mieszkalne oraz suchą fosę.

W 1509 roku Zygmunt I Stary nadaje prawa do zamku rodowi Firlejów. Wówczas miała miejsce kolejna przebudowa, nadając warowni styl włoskiego renesansu. Dodano wówczas m.in. attykę, a także nadbudowano południowe skrzydło mieszkalne o jedną kondygnację. W 1540 roku także wieża kwadratowa od strony Wisły otrzymała attykę.

W 1655 roku podczas Potopu Szwedzkiego zamek został spalony przez wojska szwedzkie a dwa lata później znacznie zniszczony przez siedmiogrodzkie oddziały księcia Jerzego Rakoczego. Podczas odbudowy zamku uzupełniono zabudowę od zachodniej strony oraz wystawiono schody zewnętrzne na naroże dziedzińca.
Zamek po raz kolejny spłonął w 1633 roku podczas pożaru miasta. W wyniku tego zamek pozostaje opuszczony i popada w ruinę. W 1806 roku władze austriackie ze względów bezpieczeństwa wysadziły grożącą zawaleniem się część murów wraz z attyką.

W czasie bitwy pod Kazimierzem Dolnym powstania listopadowego w dniu 18 marca 1831 roku, zamku bronił Batalion Celnych Strzelców Sandomierskich pod dowództwem Stanisława Krzesimowskiego. Za udział w powstaniu Adama Czartoryskiego, zamek należący wtedy do rodziny Czartoryskich, został skonfiskowany i przeszedł na własność skarbu Królestwa Polskiego.

W latach 1958-1960 na terenie ruin przeprowadzono prace archeologiczne. Zamek zabezpieczono i udostępniono dla ruchu turystycznego.

Lokalna legenda głosi, ze w podziemiach zamku znajduje się wejście do tunelu pod Wisłą, który łączy kazimierski zamek z zamkiem w Janowcu :)

W 1967 roku zamek wpisano do rejestru zabytków.