La posizione strategica del monte su cui sorge il castello di Semese ha fatto della località uno dei punti focali del sistema difensivo frignanese fin dalle epoche più antiche. Scomparsa la piccola feudalità, qui rappresentata dalla famiglia ghibellina dei “da Verica”, il territorio passò sotto il dominio dei Montecuccoli, che fecero di Semese uno dei capisaldi del loro feudo.

Il castello di Semese, in muratura di pietrame a vista e copertura in coppi, occupa l’estremità di un ampio altopiano, quasi un acrocoro, che domina tutto l’orizzonte dell’alta valle del Panaro in un settore critico di permanente contesa tra Esarcato e Longobardi nell’alto medioevo, tra bolognesi e modenesi in epoca comunale, tra dominazione estense e Stato della Chiesa più tardi. L’insediamento castellano è da fare risalire alla fine del ‘200 a margine dell’antica strada Montese-Pavullo, sulla base di un preesistente presidio longobardo (torre di avvistamento) e prima bizantino, come testa di ponte tra il vasto terrazzamento di Verica e il “castrum” centrale dislocato sulle colline di Pavullo.
La parte alta della torre, ristrutturata a cella campanaria alla fine del ‘500, ha subito la sorte di tante torri medioevali ridotte a campanili. La chiesa di S. Giacinto, eretta nel 1598 dal marchese Enea Montecuccoli, campeggia sullo spazio orizzontale della piazza e particolarmente sull’ala delle stalle, scuderie ed abitazioni coloniche che occupano tutto il lato opposto.