Die obere Burg wurde zeitgleich mit der Stadtmauer von Otto I. von Nassau-Dillenburg um 1260 errichtet. Zu diesem Zeitpunkt gehörte Driedorf zu Greifenstein, doch nach Ottos Tod wurde 1290 ein Vergleich zwischen den Nassauern und den Greifensteinern geschlossen, der Driedorf zwischen beiden Parteien aufteilte. Der Sohn Ottos I., Emich I., kaufte Driedorf anschließend den Greifensteinern ab. Die Burg diente den Nassauern als Wohnstätte, wenn sie sich in Driedorf aufhielten, sowie als Verwaltungssitz. Sie wurde 1635 vom Grafen von Mansfeld als Vergeltungsschlag gegen Ludwig Heinrich von Nassau-Dillenburg eingenommen. Dabei wurden einige Bürger Driedorfs gefangen genommen und mussten durch Lösegeld freigekauft werden. Beim Abzug der Mansfeldischen Truppen brannte die halbe Stadt nieder. Ludwig Heinrich ließ in seiner Regierungszeit die Burg zum Schloß umbauen und eine barocke Schlosskirche einrichten. Das Obere Schloss bestand aus einem in sich geschlossenem, rechteckigen Gebäudekomplex, der nur eine Zufahrt sowie eine Hintertür für Personen zur Stadt hatte. Es wies wohl zwei Stockwerke auf, wobei die oberen Stuben und Kammern als Ratsstuben und Schlafgemächer dienten. Neben der Küche gab es eine große Stube zur Beköstigung der Dienerschaft. Bis auf den Turm, der heute noch zu sehen ist, brannte das Schloß 1672 ab, der Name Schloßstraße verweist auf die frühere Existenz des Schlosses. Das Schloß ist zudem Schauplatz eines ungewöhnlichen Gedichtes, der Jungfrauenordnung. Dabei handelt es sich um eine in Reimform verfasste Sitten- und Bußgeldordnung. Für Vergehen bei Tisch oder Gotteslästerung mussten der Jungfrau, einer Bild oder Statur der Jungfrau Maria mit einer Sammelbüchse, bestimmte Geldbeträge anvertraut werden, die dann karitativen Zwecken zugeführt wurden.