Zamek został zbudowany na planie nieregularnego czworoboku, z wieżą od zachodu chroniącą bramę. W XIV wieku właścicielami Karłowic była rodzina Czamborów de Kertzendorf. W tym okresie zamek miał formę trapezu z wieżą w zachodniej części. W 1565 roku zakupił go piastowski książę Jerzy II brzeski i od tego momentu była to książęca siedziba myśliwska. W XVI wieku zamek przebudowano od wschodu, przebudowano przedbramie od zachodu i podwyższono wieżę. W 1715 roku po północnej stronie dziedzińca zbudowano barokową kaplicę lokalnych mieszkańców, gdzie msze odprawiał ks. Jan Dzierżon. W XVIII-XIX wieku wzniesiono budynek południowy i południowo-zachodni.
Założenie otacza zachowana częściowo fosa.






Zdjęcia; Bertzag, CC BY-SA 3.0 PL , via Wikimedia Commons