Per volere di Francesco IV la residenza ducale montana doveva essere al centro di un esteso giardino. Si incaricò della progettazione il giovane capo giardiniere Karl Hüller che lo realizzò sui vasti terreni che il Duca aveva acquistato dietro il Palazzo, in un paesaggio vario e movimentato. Il modello inglese cui si ispirava doveva dare l’idea di un paesaggio naturale sorto spontaneamente senza l’intervento dell’uomo che tuttavia fu notevole e una parte dei boschi di castagni che ricopriva il monte dei Frati dovette cedere il posto a piante di altro tipo. Tra queste spiccano il maestoso Cedro del Libano, localmente noto come il Pinone, e una sequoia gigante.