Addossato al fianco sud della Chiesa di San Giacomo, l'ex Convento ospita lo splendido chiostro.
Dal 1390 il Convento fu abitato dai Serviti, giunti a Castelfranco, dove operarono fino alla sopperssione disposta dalla Repubblica di Venezia nel 1772.
Attualmente è una delle sedi del Conservatorio di Musica A. Steffani.
