Landgraf Karl (1670-1730), der Namensgeber des Ensembles, ließ, parallel zur landschaftsarchitektonischen Gestaltung, am Ausgangspunkt der barocken Achsen in den Park das Orangerieschloss als Sommerresidenz und Aufstellungsort für die Überwinterung mediterraner Kübelpflanzen errichten. 1710 wurde das Gebäude seiner Bestimmung übergeben.