Il castello di S. Martino viene fondato in età longobarda sul sito di un presidio tardoromano come fulcro di un sistema di vedette collocate sulle colline circostanti: rinnovato a più riprese, si presenta come un complesso eterogeneo, con le pareti più rilevanti riferibili al XV-XVI secolo, quando viene aperta la via Brevia che agevola la salita da piazza del Duomo. Il castello è residenza episcopale dal X secolo, quando il vescovo ha anche il titolo di conte e un potere temporale che conserva fino al 1768. A ricordare l'originaria funzione militare è la massiccia torre merlata. D'impronta rinascimentale è invece il nucleo residenziale, impostato sul cortile centrale nel quale si apre con belle arcate la Corte d'Onore.
