La volontà del duca Francesco IV era di completare il Palazzo Ducale con quattro edifici, collocati direttamente sulla via Giardini. I due edifici gemelli alla sinistra del palazzo, realizzati in pietra e del tutto analoghi, costituivano due annessi fondamentali per la vita del palazzo: si trattava delle Carceri mandamentali, ubicate dalla parte opposta della via Giardini e della Caserma dei Dragoni Estensi (il corpo di gendarmeria del ducato), situata di fronte alle carceri.