Am 18.10.1907 wurde Joseph Loher in München als zweiter Sohn des Reichsbahnsekretärs Georg Loher und seiner Frau Franziska geboren. Aus eigener Initiative und mit großer Beharrlichkeit gelang es dem jungen Schüler in die Rupprecht-Oberrealschule in München aufgenommen zu werden. Es folgte nach dem Abitur ein Studium für das Höhere Zeichenlehramt an der Technischen Hochschule in seiner Heimatstadt. Dort lernte er auch seine spätere Frau Gretel Schmeck kennen.

Beide entschlossen sich nach dem Staatsexamen für ein weiteres Studium an der Akademie der Bildenden Künste, in der Klasse von Prof. Karl Caspar. Der Staatsdienst kam für Joseph Loher nicht in Betracht, da er unbedingt Maler werden wollte. Sein neuer Lehrer, der bekannt dafür war, den expressionistischen Stil an der Akademie zu lehren, war von seinem Schüler begeistert. Caspar bescheinigte ihm eine außergewöhnliche malerische Begabung und vertrat die Ansicht, dass noch “Starkes” von dem jungen Loher zu erwarten sei.

Erste Ausstellungen fanden statt, die jedoch 1937 ein jähes Ende fanden. Joseph Loher und seine Frau verließen aus Solidarität mit ihrem von den Nazis diffamierten Professor Caspar die Akademie. Der Künstler selbst wurde kurz danach, um Weihnachten 1937, von einem Mitschüler denunziert, weil er sich abfällig über Hitler geäußert hatte. Wochen später musste sich Joseph Loher vor der Gestapo in einem Verhör rechtfertigen. Die Schwangerschaft seiner Frau konnte ihn vor einer Deportation retten.

Gleich nach dem Krieg wurde Karl Caspar wieder an die Akademie als Professor berufen. 1946 schlug er seinen ehemaligen Schüler für eine Neuberufung an der Akademie vor, jedoch ohne Erfolg. 1964 erhielt Joseph Loher von der Stadt München eine späte Würdigung. Dessen ungeachtet lebte der Künstler mit seiner Familie abgeschieden und zurückgezogen von 1940 bis zu seinem Tod 2002 in Frotzhofen bei Anzing.