Castelnuovo di Quero si trova lungo il vecchio tratto di strada sulla sponda destra del fiume Piave, vicino all'abitato di Quero in direzione Feltre.
La strada passa proprio sotto il corpo centrale con un grande arco che, un tempo, si chiudeva con due porte e due ponti levatoi ed è ancora oggi affiancato da due massicce torri di differente altezza. A secoli di distanza l'imponente edificio, che venne bombardato nel 1917 durante la Grande Guerra, venne acquistato nel 1924 dai Padri Somaschi che lo gestiscono ancora oggi come Casa di Preghiera e Centro Religioso.
Castelnuovo ha perso nel corso dei secoli i suoi arredi originali e oggi presenta internamente pavimenti non originali poichè l'intero edificio è stato ristrutturato negli anni Settanta del XX secolo. Le torri sono articolate su più piani; la torre adagiata sulla fiancata della montagna presenta cinque rampe di scale, mentre quella verso il fiume quattro. Il castello è aperto al pubblico ed è facilmente raggiungibile percorrendo la vecchia strada Feltrina che si trova subito dopo il paese di Quero in corrispondenza della stazione ferroviaria Quero-Vas.
L'attuale Castello, posizionato proprio sull'argine del Piave a pochi metri dal suo corso lungo la strada Feltrina, venne edificato nel 1376 per volontà del capitano generale dalla Repubblica di Venezia, Jacopo Crivelli, al posto di un antico e fatiscente fortilizio già esistente forse in epoca romana o longobarda.
La struttura è da sempre punto fondamentale di contatto tra la Valbelluna e la Marca Trevigiana grazie alla posizione strategica in cui sorge, fungendo da baluardo difensivo e da punto di controllo del traffico fluviale sul Piave. Il Castello venne dato in gestione a fidate famiglie; il castellano più famoso fu Girolamo Miani che nel 1511 si distinse per la strenua difesa del maniero, e della Repubblica Veneta, e fatto prigioniero dalle armate imperiali di Massimiliano d'Austria.
Come narra la leggenda, Miani fu liberato per intercessione miracolosa della Madonna e a seguito di questo evento il valoroso condottiero si diede alla vita religiosa e fondò l'ordine religioso dei Padri Somaschi.
