El castillo de Conil o Castillo- Torre de Guzmán “el Bueno” data de los siglos XIV-XV, siendo construido por Enrique Pérez de Guzmán, de quien recibe su nombre y es en torno a dicha fortaleza el germen del surgimiento de la Villa de Conil por aquellos tiempos.  

En la parte baja de Conil de la Frontera y siendo el principal objetivo el control del mar, de las pesquerías y de la población del mar, se trata de una fortaleza que no se encuentra en un promontorio o lugar alto como ocurre en la mayoría de las ocasiones. Siendo residencia de los duques de Medina Sidonia durante los periodos de la almadraba.  

Hoy día se conserva la Torre de Guzmán, la torre del homenaje de aquella fortaleza y que ocupa el que fuera el patio de armas de la misma, aunque el conjunto de la fortaleza se complementaba con las torres vigías de Castilnovo y la torre de Roche.  La torre de Guzmán es de planta cuadrada y unos dieciocho metros de altura, fue la primera edificación existente en Conil antes incluso de que la villa recibiese su nombre. Junto a la torre de Guzmán solo quedan se conserva del antiguo castillo, el lienzo de muralla de la cara norte y un torreón circular en una de sus esquinas y la torre de la Vela en el otro.  

Es a partir del siglo XIX cuando el deterioro comenzó a hacer mella en el mismo, convirtiéndose en bodega en el siglo XX y manteniéndose hasta los años sesenta del siglo XX como almacén de vinos.