Ursprünge im 11. Jahrhundert

Die erste urkundlich Erwähnung von Burg und Siedlung Klingenstein findet sich im 13. Jahrhundert als Glingenstein (1220) oder Clinginstain (1255). Doch der Kern der Burganlage von Schloss Klingenstein, die sogenannte Oberburg, wurde  bereits im 11. und 12.  Jahrhundert errichtet.  Die mächtigen Grundmauern des Bergfriedes lassen auf eine Höhe desselben von 15 bis 20 Metern schließen, von dem man einen weiten Blick über das Blautal zu den Nachbarburgen hatte. Um die Oberburg gegen den Lindenberg vor Eindringlichen zu schützen, hatte man einen 10 Meter breiten Halsgraben aus dem Kalkstein geschlagen.

Die etwas tiefer gelegene Mittelburg stammt aus dem 13. bis 14. Jahrhundert und umfasste hohe umlaufende Mauern mit Wehrgängen und Ecktürmen.

Die jüngste der drei Burgen ist die Nordburg, von der sich nur ein tonnengewölbter Keller aus dem 15. Jahrhundert erhalten hat. Die Nordburg ist 1588 von den damaligen Herren von Bernhausen verlassen worden. Auf das Fundament des Nordflügels baute 1756 Freiherr Franz von Bernhausen das heute Schlossgebäude im spätbarocken Stil. 

1860 kaufte der Ulmer Apotheker Dr. Gustav Ernst Leube das zum Abriss vorgesehene Schloss mit samt der Burganlage. Sein Sohn Gustav Leube brachte um 1900 das Schloss in die heutige Form mit dem markanten Turm an der Westseite (1898).