Costruito dai normanni sui resti di un’antica rocca longobarda, fu ingrandito e restaurato in seguito da Ruggero d’Altavilla.
Qui fu firmato il cosiddetto “Patto di Scalea”, con il quale venne decisa la divisione della Calabria tra i fratelli Ruggero il Normanno e Roberto il Guiscardo. Vi nacque Ruggiero di Loria, e in seguito fu ereditato da numerosi feudatari, gli Spinelli per ultimi.