Costruito a partire dal 1463, probabilmente dalle stesse maestranze che avevano costruito il chiostro più antico del Seminario Gregoriano, che all'epoca era la sede del convento francescano della città. L'edificio fu istituito per ospitare una comunità dell'ordine dei Servi di Maria, che, insieme a frate Elia da Brescia, fu tra i principali promotori, all'inizio del XVI secolo, della costruzione del Monte di Pietà. La comunità servita rimase a Belluno fino alla soppressione napoleonica del 1806. Requisito per uso amministrativo, attualmente ospita gli uffici statali del Dipartimento delle Finanze.
Si trova in Piazzetta Santo Stefano, nelle immediate vicinanze della bellissima Chiesa di Santo Stefano: entrambi i monumenti sono inclusi tra i punti d'interesse evidenziati dai percorsi progettati per esplorare il centro storico di Belluno a piedi. Si trovano lungo il percorso rosso, “Dolomiti”.
