Das Schlösschen wurde 1777 im Rokokostil als Sommervilla der Grafen und Fürsten zu Löwenstein-Wertheim-Freudenberg erbaut. Zu Beginn des 19. Jahrhunderts wurde der barocke Garten erheblich erweitert und zu einem Landschaftspark im englischen Stil umgestaltet.
Um die Jahrtausendwende wurden zunächst die Stadt Wertheim und kurz darauf die gemeinnützige Stiftung Schlösschen im Hofgarten neue Eigentümer der gesamten Anlage. 2006 eröffnete die Stiftung das Museum, das jährlich zwei Sonderausstellungen zeigt. Der Förderkreis Schlösschen im Hofgarten e.V. unterstützt die Arbeit des Museums und trägt regelmäßig zum Kapitalstock der Stiftung bei.
Der vier Hektar große Landschaftspark beherbergt neben dem Schlösschen selbst im ehemaligen Gärtnerhaus ein Café mit Terrasse und Biergarten. Außerdem gehören ein klassizistischer Rundtempel und eine neugotische Grabkaelle von 1916 zum Inventar, welche die sterblichen Überreste mehrerer Mitglieder des Fürstenhauses birgt.
Ein gebührenfreier Parkplatz mit rund 100 Stellplätzen befindet sich gegenüber dem Schlösschen in den Uferwiesen am Main. Die für Sonntage genannten Öffnungszeiten gelten auch an gesetzlichen Feiertagen.