Das Junkernschloß wurde wahrscheinlich bereits vor dem Bau der Oberen Burg (um 1260 durch Otto I. von Nassau-Dillenburg) durch die Herren von Greifenstein errichtet, zu denen Driedorf gehörte, bevor die Nassauer Ansprüche auf den Ort erhoben. Es handelt sich hier um eine Wasserburg, deren einzige Verbindung zu Driedorf durch die Zugbrücke bestand. Der Rehbach wurde nach dem Bau der Burg so umgeleitet, dass er die Burganlage vollständig umschloß. 400 Jahre lang wurde das Junkernschloß von der Familie Mudersbach bewohnt (1212-1601), die mit den Greifensteinern verwandt war. Nach dem Tod des letzten Bewohners verfiel das Schloß. Im Limburger Dom befindet sich das Grab von Daniel II. von Mudersbach, der 1433 eine Pilgerfahrt ins Heilige Land unternommen hat. Sein Grab ist das einizige erhaltene mittelalterliche Grab eines Driedorfers.