El castillo de Medina Sidonia está ubicado en el cerro más alto de la ciudad y fue lugar fortificado de la antigüedad. Ya en época romana fue Castellum romano, es decir, recinto fortificado formado por cerca, torres, contrafuertes y foso con un claro carácter de defensa del lugar. Por sus características es referente en España de este tipo de fortificación.  

Pero es en la edad media, con la llegada de los musulmanes cuando se construirá la alcazaba   que data del siglo XI, construido el nuevo castillo, en el mismo lugar, de fábrica de tapial, del cual se han documentado algunos tramos in situ y diversos trozos de muralla caídos en el exterior de la fortaleza.  

Pero será a mediados del siglo XV cuando se proceda a la construcción un nuevo castillo, esta vez por los castellanos a iniciativa del Primer Duque de Medina Sidonia, cuyo objetivo era fortalecer y garantizar la defensa de esta población con el fin de convertirla en ciudad señera de su señorío. La nueva fortaleza será de muros de sillarejos, mampuestos y alambor en su primer tramo. 

Hoy los restos de la fortaleza medieval, junto con otros restos posteriores emerge en lo alto del cerro más alto de la localidad, desde sonde se otea prácticamente toda la comarca de la Janda.