Johannes Hermann Ernst Koch wurde 1918 in Groß-Börnecke (Sachsen-Anhalt) geboren. Er wuchs in Leipzig auf, wo er Mitglied des bekannten Thomanerchores wurde. Anschließend studierte er am Kirchenmusikalischen Institut der Hochschule und hatte Lehrer wie Karl Straube und Johann Nepomuk David.

Nach seiner Rückkehr aus dem Zweiten Weltkrieg setzte er sein Studium an der Musikakademie Detmold fort. Dort arbeitete er als Mitarbeiter von Prof. Wilhelm Ehmann am Aufbau der Westfälischen Landeskirchenmusikschule mit und lehrte dort Tonsatz und Komposition.

Über 25 Jahre lang war er in Herford als Kantor und Bläserchorleiter an der St. Marien-Kirche Stiftberg tätig. Seine meist für die musikalische Praxis erstellten Werke, mancherlei Formen der Vokal- und Instrumentalmusik, wurden unter anderem von namhaften Verlagen wie Bärenreiter, Carus und Schott veröffentlicht. Besonders bekannt sind seine Chor- und Bläser-Oratorien wie „Die Bergrede“ (1969) und die sinfonia sacra „Daniel“ (1981).

Ein zentrales Thema in Kochs Schaffen war die Brückenbildung zwischen anspruchsvoller, professioneller Musik und der Laienmusik. Er suchte Wege, komplizierte musikalische Formen auch für Amateurmusiker zugänglich zu machen. In seinen späteren Werken beschäftigte er sich zudem mit modernen Elementen wie Klang-Raum-Problemen und elektronischen Medien.

Für sein Lebenswerk als Komponist, Kirchenmusiker und Musikpädagoge wurde ihm im Jahr 2000 das Bundesverdienstkreuz am Bande verliehen.

Johannes Hermann Ernst Koch verstarb am 14. September 2013 im Alter von 95 Jahren.