Situato nella zona nord del Castello, in corrispondenza del tratto più antico delle mura, probabilmente l’edificio originale era di fattura alquanto modesta. Tutto cambiò radicalmente quando il condottiero Jacopino Rangoni ottenne dal cardinale Betrando del Poggetto, legato pontificio di Papa Giovanni XXII, il feudo di Castelvetro. Dopo alcuni lavori di restauro ed espansione, lo stabile divenne infatti il quartier generale dei Signori della città.

Con l’avvento dei Rangoni, il Palazzo assunse caratteristiche di rappresentanza e residenziali, data anche l’importanza che Castelvetro ricoprì, a partire dal Quattrocento come capitale del feudo.

Dopo il violento terremoto che colpì la città nel 1501, l’edificio venne ricostruito dai Rangoni insieme a molte altre zone del Castello.

Le sale sono riccamente decorate con opere cinquecentesche attribuibili, in gran parte, al pittore Gian Antonio Scacceri e caratterizzate da elementi naturali inseriti nei soffitti cassettonati e nelle fasce sottostanti. In particolare, vanno menzionate: la Sala dei Delfini, la Sala degli Orsi e la Sala dei Putti.

A fine Ottocento, l’allora parroco di Castelvetro Don Luigi Rinaldi commissionò a Ferdinando Manzini quattro grandi tele, all’interno di quella che poi venne chiamata Sala del Tasso, che ricordano la vita del poeta Torquato Tasso, ospitato dalla famiglia Rangoni nel 1564.