L'etimologia del nome è incerta. Tra le versioni più verosimili, figurano la derivazione dal latino Turtur, tortora o, con maggiore verosimiglianza, da Mons trium turrium, cioè monte delle tre torri.

Data la posizione strategica e favorevole, Il Castello e il suo Borgo fortificato furono per lungo tempo contesi fra i comuni di Modena e Bologna. Il Castello si trovava infatti in un punto tale da impedire ogni ulteriore costruzione che ne limitasse la vista.

Quando venne distrutto nella prima metà del '200, fu tempestivamente ricostruito. Pur conoscendo nei secoli alterne vicende fatte di distruzione e incuria, sono ancora presenti alcune testimonianze dell’antico edificio. Fra queste, alcuni resti di muri, un portale ad arco a sesto acuto, una delle torri (trasformata poi in campanile) e una cisterna coperta da una poderosa volta a botte.

La chiesa del Castello, più volte ingrandita nel tempo e danneggiata dai bombardamenti, è stata interamente restaurata. La sua dedicazione a San Geminiano, mantenuta fin dal Medioevo, ha rivendicato nei secoli l'appartenenza del Castello alla città di Modena. La vasta canonica, anch'essa restaurata, è il frutto di diverse fasi costruttive intorno a un primitivo nucleo quattrocentesco, tuttora testimoniato da un portale in arenaria recante tracce di incendi e da feritoie dell'epoca.