Eremitageslottet er opført i 1736 af Lauritz de Thurah under Chr. VI. Idéen til Eremitagen fik de Thurah fra Schloss Garden i Dresden. Slottets navn kommer af ordet eremit, der betyder eneboer.
I midten af slottet var tidligere indrettet et spisebord, der mekanisk kunne hæves og sænkes mellem køkkenet i kælderen og spisesalen. På denne måde var herskabet fri for tjenerstabens tilstedeværelse, dvs. være i “ensomhed”.
Eremitageslottet var en kort tid i privateje, men det var for dyrt at vedligeholde og overgik derfor til staten, der stiller det til rådighed for kongehuset.