Del reino visigodo se conservan hallazgos. Con la islamización de la Península Ibérica en el DCCXI se construyó la ciudadela y se fundó la villa del pueblo viejo que, dado su emplazamiento en plena frontera granadina, jugó un importante papel en las Guerras de Granada en el siglo XV. Asimismo en el periodo andalusí también en La Almoraima existió un pequeño asentamiento humano, donde habitaba la guarnición de la torre almenara allí situada. Castellar de la Frontera fue uno de los eslabones de la cadena de fortalezas del reino nazarí, enlazando por el sur con la torre de Palmones y la bahía de Algeciras y al norte con Jimena de la Frontera. En ocasiones era cedida con otros castillos por los reyes de Granada a los benimerines como pago de su socorro contra los cristianos. Juan de Saavedra, alcaide de Jimena de la Frontera, tomó el castillo en MCDXXXIV para la corona de Castilla. Juan II concedió a Juan de Saavedra la alcaldía de la villa, dándosela más tarde en Señorío. Conquistada de nuevo para el reino de Granada, volvió a ser conquistada, una segunda vez, por Juan de Saavedra que recobró su señorío, siendo heredado durante muchas generaciones por los Arias de Saavedra, a los que Carlos I concedió en MDXXXIX el título de Condes de Castellar. Sus descendientes ostentaron el Condado de Castellar. Desde entonces la economía local se basó en la agricultura, en la ganadería y en otras actividades relacionadas con el monte