L'edificio venne creato dal Comune di Vicenza e ufficialmente aperto il 12 giugno 1486 con la contemporanea istituzione di un banco dei pegni nella chiesa di San Vincenzo, che da allora divenne proprietà del Monte.
Per combattere l'usura dilagante in città, i francescani crearono un progetto di microcredito, fornendo piccoli prestiti a condizioni più favorevoli rispetto a quelle di mercato in cambio di un pegno. Il prestito veniva dato ai soli miserabili e non poteva eccedere i tre ducati per famiglia, né avere una durata di oltre sei mesi; un massaro, un notaro e un tesoriere sotto la sorveglianza di quattro Conservatori eletti del Consiglio dei Quaranta presiedevano alle operazioni di concessione e di recupero del prestito. Nasceva il Banco dei Pegni.
Nel 1700 gli interventi di Francesco Muttoni contribuirono all’ampliamento della Chiesa e alla realizzazione di un Salone per il Palazzo. Successivamente venne qui locata la biblioteca comunale, denominata “Bertoliana” in onore del suo fondatore.
