Das alte Pfarrhaus wurde nach dem Brand 1819 errichtet. Gemeinsam mit der gegenüberliegenden Poststation ergibt sich ein repräsentatives Ensemble am Marktplatz. Ursprünglich gehörte der heutige Betsaal der evangelischen Kirchengemeinde als Scheune und Stallgebäude zum Pfarrhaus dazu, weil die Pfarrer Selbstversorgung betreiben mussten. Außer Driedorf mussten die Pfarrer neun Ortsteile betreuen. Dem Pfarrer Theodor Westerburg, der 1801-1820 in Driedorf tätig war, ist eine detaillierte Beschreibung des Brandhergangs von 1819 zu verdanken. Das Alte Pfarrhaus ist außerdem Geburtsstätte des Opernsängerns und Pfarrerssohn Paul Bender, der 1875 geboren wurde und den es nach Bayreuth, London und New York verschlug.