L'edificio sorge sull'area che ospitava il perno difensivo della cinta muraria voluta da Ezzelino III da Romano, il tiranno che governò la città dal 1237 al 1256. La cosiddetta Torlonga, la maggiore delle due torri, ne costituisce la traccia più significativa.
Dopo la caduta della tirannia, le fortificazioni vennero abbandonate: solo nel secolo successivo, con la signoria dei Carraresi, gli spazi furono ripristinati con funzione di castello. I Carraresi fecero dipingere le due torri a scacchi bianchi e rossi e arricchirono di affreschi le sale interne; aggiunsero un passaggio sopraelevato per collegare il Castello con il centro città e la loro Reggia, cuore del potere politico e militare.
Con la costruzione delle mura rinascimentali e a seguito del lungo periodo di pace di cui godette la città sotto il dominio della Repubblica di Venezia, il valore strategico del Castel Vecchio di Padova, così veniva ormai denominato nel Settecento, venne meno. In quello stesso periodo, la Torlonga venne adibita ad osservatorio, funzione da cui deriva il nome Specola, secondo il progetto dell'architetto Domenico Cerato. Nel secolo successivo gli ambienti del Castello vennero utilizzati come carcere.
I restauri degli ultimi dieci anni hanno consentito di riportare alla luce tracce della decorazione trecentesca e di valorizzare uno dei più importanti beni storico-architettonici di Padova.
