Der Schriftsteller Joseph Victor von Scheffel verlieh dem Bergsee seinen heutigen Namen. Die zuvor gebräuchliche Bezeichnung „Schwarzsee“ für die rund fünf Hektar große, aufgestaute Wasserfläche wurde damit abgelöst. Zu Ehren Scheffels erhielt eine markante Felsformation den Namen Scheffelfelsen – ein Ort, an dem man die wildromantische Stimmung der Landschaft besonders intensiv wahrnimmt. Noch heute lässt sich erahnen, wie diese Atmosphäre den Dichter schon vor Jahrhunderten zu seiner Geschichte inspirierte.
Am Bergsee erwarten Besucher heute ein gemütliches Restaurant, Tretboote und ein nahegelegenes Wildgehege.