Nach der Zerstörung der Anlage durch französische Revolutionstruppen und der folgenden Auflassung des Ensembles ließ die königlich-bayerische Regierung Mitte des 19. Jahrhunderts den damals nur teilweise bewaldeten Karlsberg aufforsten. Bis heute befindet sich hier ein forstwirtschaftlich wertvoller, qualitativ zum Besten in Südwestdeutschland zählender Bestand an Buchen, Eichen und Winterlinden. Die sich immer weiter verjüngenden Edelkastanien gelten allesamt als Nachkommen der Mutterbäume aus herzoglicher Zeit.