Questo edificio venne costruito nell'Ottocento su progetto dell’architetto Antonio Caregaro Negrin.
Architetto di fama e molto in voga all’epoca, venne incaricato nel 1853 dal nobile Fraccaroli e dalla moglie Verlato di costruire un palazzo, che doveva avere tre piani, numerose finestre, diverse torrette e doveva spiccare per eleganza e magnificenza.
Le notizie e la sua storia si interrompono nella seconda metà dell’Ottocento come pure la volontà degli antichi proprietari di portare a compimento questa dimora che sarebbe stata di certo fuori dagli schemi ed estremamente pregiata. Le cause di non dare seguito ai lavori sono dovute probabilmente ad un trasferimento della famiglia a causa dell’epidemia di peste, o da attività lavorative lontane, o da una probabile unione in matrimonio risolutrice causata dall’arrivo imminente di un figlio.
Il palazzo non è mai completato e lo stato di abbandono ha fatto si che nella tradizione popolare l’edificio sia comunemente chiamato “Castello degli Spiriti”.
Se si osserva la facciata di Palazzino Fraccaroli, si possono facilmente notare alcune mensole di pietra rette da statue con fattezze diaboliche nella parte centrale della facciata, appena sopra gli archi delle 3 porte. Queste grottesche figure altro non sono che semplici contrafforti, anche se secondo la leggenda, sarebbero state collocate in determinati punti della costruzione, per tener lontane le energie negative dalla casa e dai suoi abitanti.
Palazzino Fraccaroli è attualmente di proprietà privata ed è visitabile solamente dall'esterno.