Il piccolo castello di Pafos sorge nella parte occidentale del porto della città. Le sue caratteristiche oggi sono il risultato di vari interventi. I sovrani franchi costruirono il castello a metà del XIII secolo per sostituire il forte bizantino di "Saranta Kolones" che fu distrutto dopo il terremoto del 1222 d.C. Sembra che i sovrani franchi originariamente eressero due torri: il castello al porto e una torre circolare, di cui si possono vedere tracce a 50 metri a ovest della torre esistente. Una parete divisoria collegava queste due torri. Quando i Genovesi conquistarono le torri nel 1373 d.C., apportarono alcune modifiche e modellarono anche il suo fossato. Secondo alcuni storici medievali, entrambe le torri erano in uso nel XV secolo. Verso la fine del secolo, tuttavia, un forte terremoto distrusse una delle due torri. Poco prima della conquista ottomana del 1570, i Veneziani, che controllavano Cipro in quel momento, distrussero ciò che era rimasto delle due torri con l'uso di esplosivi, in modo che le torri non fossero usate dagli Ottomani. Ciò che sopravvive oggi è il restauro ottomano del 1780 della torre occidentale dei Franchi con le sue aggiunte veneziane.

Il piano terra è costituito da una sala centrale con piccole stanze su ciascuno dei suoi due lati lunghi, che sono stati utilizzati come celle di prigione durante il periodo dell'occupazione ottomana. Due piccole celle sotterranee sono state utilizzate per l'imprigionamento di detenuti a lungo termine. La piccola guarnigione turca abitava nelle stanze del piano superiore e usava la stanza centrale come una moschea. Sul tetto del castello ci sono dodici merli, che hanno ricevuto un numero corrispondente di cannoni. Gli ottomani rimossero i cannoni nel 1878, quando consegnarono l'amministrazione dell'isola ai britannici. Dall'inizio del dominio britannico il castello fu utilizzato come magazzino per il sale fino al 1935 quando fu dichiarato un monumento storico.