Il Monte di Pietà, o dei Pegni, fu fondato nel 1493 ed ebbe sede presso un massiccio edificio, ora sede della Biblioteca Comunale.
Il palazzo costituì la sola fonte di prestito per i poveri della città e dei villaggi della Castellana.
Alla Biblioteca è annesso l'Archivio Storico Comunale, composto da circa 7000 volumi, risalenti al periodo compreso tra il XV secolo ed il 1950.