Um 1800 lebten 16 Familien in Balderschwang die ausschließlich von Land- und Forstwirtschaft lebten. Die Herstellung von Käse war mit die Haupttätigkeit. Über abenteuerliche Wege war die Enklave Balderschwang mit dem Allgäu und Österreich verbunden. Viele Schmuggler nutzten das Gebiet zu regem Handel.

Mit dem Bau der höchsten Passstraße Deutschlands im Jahr 1961, dem Riedbergpass, wurde das Tal direkt ans Allgäu angeschlossen. Balderschwang gehört zu Bayern - Österreich beginnt jedoch gleich am Ende des Dorfes.

Durch seine Lage in über 1000 m Höhe und eingerahmt von Bergen bis zu 1797 m Höhe hat Balderschwang ein sehr rauhes Klima . Manche nennen Balderschwang das "Bayerische Sibirien", andere sagen in Balderschwang ist es ein 3/4 Jahr Winter und 1/4 Jahr kalt. Ende September beginnt es oft zu schneien und der Schnee liegt meist bis in den Mai hinein.