Volgens de klassieke traditie van de locatie van het fort, was er een Tempel van Kronos, een Titaan van de Griekse goden, de vader van Zeus, Poseidon, Hades, Hestia, Demeter en Hera. In 1457 werd een kapel op het eiland opgericht door een Venetiaanse bootbemanning die herstelde van de pest. In 1706 werd een kasteel gebouwd, wat resulteerde in een versterkte omheining van een onregelmatig vlak. Het verdedigde de noordelijke flank van de stad tegen aanvallen. Aan de voet van de vuurtoren stond een uitkijktoren uit de moslimperiode. De vuurtorenheeft een ijzeren constructie ontworpen door Rafael de la Cerda in 1908 en is de tweede elektrisch aangedreven vuurtoren in Spanje. De toren stijgt tot 41 meter boven de zee.
In 1811 arriveerde de Maltese marine met de beroemde krijgsgevangene / rebel Junta van Buenos Aires, Juan Bautista Azopardo. Hij werd tot 1815 in het fort gehuisvest, tot ze een lek vermoedden en hem overbrachten naar de militaire gevangenis in Ceuta.
In 1860 werd een dijk aangelegd als verbinding tussen het eiland en de stad. Op 25 juni 1985 werd Castillo de San Sebastian uitgeroepen tot cultureel monument.
