Construida por los Duques de Medina Sidonia, la Torre –fortaleza de Castilnovo es una construcción de primera mitad del siglo XVI y que desde sus orígenes tuvo una doble funcionalidad, torre vigía y atalaya de la almadraba de vista instalada en aquel lugar desde el mismo siglo XVI hasta el siglo XVII.
Se trata de una torre excepcional si la compramos que el resto de torres coetáneas existentes en el litoral jandeño, ya que es de planta cuadrada, con caña trapezoidal que cuenta con unos veintiún metros de altura.
El conjunto defensivo llegó a contar con una pieza de artillería y defendía el lugar de los posibles ataques berberiscos norteafricanos. Así mismo se comunicaba con la torre de la Meca y el castillo de Conil. Se trataba de una de una fortaleza con entidad ya que tenía Alcaide propio con voz y voto en el Cabildo de Conil. Pero el maremoto de 1755 destruyó todo el recinto fortificado, quedando en pie tan sólo la torre.
Fue declarado Bien de Interés Cultural en 1949.