I resti più importanti oggi esistenti appartengono ad una costruzione sveva. La tradizione locale parla di un castello saraceno, che sarebbe stato costruito agli inizi del X secolo: 
La prima menzione è del 1274, quando figura nello statuto  angioino dei castelli siciliani.  Nel 1278 il castello di Agira figura nelle disposizioni di approvvigionamento a favore dei castelli siciliani: al castello di Agira vengono assegnate cento salme di miglio, è una delle più grosse assegnazioni; quindi in questo periodo il castello era in piena efficienza. Nel 1354 vi fu ospite per più giorni Ludovico d'Aragona. Nei secoli XVI e XVII doveva avere perduto la sua importanza militare, nel 700 varie fondi  dicono che il castello è gia in rovina. 
La sommità del castello è dominata dai resti di una chiesetta recentemente ristrutturata, che secondo la tradizione locale occuperebbe il posto di quella costruita da S. Filippo. 
Sempre nella parte centrale del castello si trova un ambiente sotterraneo a pianta quadrangolare, coperto da volta ad ogiva. 
La tradizione parla di un sotterraneo che si apriva all'interno del castello e che doveva arrivare fino a valle.