Ein Schloss als Sommerresidenz? Der Ulmer Apotheker Dr. Gustav Ernst Leube erfüllte sich diesen Traum, als er 1860 das abbruchreife Gemäuer günstig erwarb. Sohn Gustav jr., übernahm es 1881, baute es für seine Familie aus und kaufte 1900 weiteres Gelände sowie einen Bauernhof samt einiger Wiesen und Äcker hinzu. 

Im Lauf der Jahre und Jahrzehnte musste die mittlerweile auf eine stattliche Nachkommenschaft angewachsenene Familie allerdings erkennen, dass ein solch luxuriöses Anwesen beträchtliche Unterhaltskosten mit sich brachte, und auch die denkmalschützerischen Pflichten waren auf die Dauer von Privatpersonen kaum zu erfüllen. 

Daher entschlossen sich Gustavs Nachfahren, die Erbengemeinschaft aufzulösen und die Immobilie in eine gemeinnützige Stiftung zu überführen. Das Schloss, die Burgruine und alle zugehörigen Liegenschaften wurden dem Land Baden-Württemberg übertragen. 

Aus dem Kreis der Familie wurde ein Stiftungsbeirat gegründet - die Stämme Wilhelm, Elisabeth und Otto Leube waren mit jeweils 3 Mitgliedern vertreten, der Stiftungsvorstand musste nicht zwingend der Verwandtschaft entstammen. Seitdem verfolgt die Familienstiftung ehrenamtlich den Auftrag, das Schloss mit seinen dazugehörigen Anlagen zu verwalten und der Nachwelt zu erhalten.