Podľa zápisu v matrike narodených farnosti pri Dóme sv. Martina sa Johann Kaspar Mertz narodil 17. augusta 1806 na Laurinskej ulici v Bratislave (toho času Preßburg). Podľa tohto prameňa mu patrí meno Kaspar Joseph Mertz (v latinčine Casparus Josephus Mertz) a nie donedávna chybne uvádzané Johann Kaspar.
Až do roku 1840 Mertz v Prešporku žil a aktívne sa podieľal na umeleckom živote mesta, najmä prostredníctvom činnosti miestneho Cirkevno-hudobného spolku pri Dóme svätého Martina. Pravidelne účinkoval na akadémiách (koncertoch), organizovaných týmto spolkom (1834, 1838 – 1841, 1851) a roku 1840 bol jeho archivárom. Práve v tomto roku začal upriamovať svoju pozornosť na neďalekú Viedeň, ktorá bezpochyby patrila medzi najvýznamnejšie kultúrne centrá Európy.
Po úspešnom vystúpení v Kráľovskom divadle roku 1840 bol menovaný dvorným gitaristom cisárovnej Karolíny Augusty. V nasledujúcich rokoch podnikol veľa koncertných ciest po Európe (najmä Morava, Poľsko, Nemecko) a oženil sa s klaviristkou Josephine Plantin. Roku 1843 sa mladomanželia usadili vo Viedni, kde žili a pôsobili až do Mertzovej smrti. Po dlhotrvajúcich zdravotných ťažkostiach zomrel 14. októbra roku 1856.
J. K. Mertz nepochybne patrí medzi najvýznamnejších gitaristov a skladateľov ranoromantickej gitarovej hudby. Na sklonku svojho života, roku 1856, získal prvú cenu za najlepšiu kompozíciu pre gitaru (Concertino) na celoeurópskej súťaži v Bruseli, ktorú vypísal ruský šľachtic a gitarový nadšenec Nikolaj Petrovič Makarov (1810 – 1890).
Mertzove rozsiahle dielo obsahuje najmä rôznorodé kompozície pre gitaru, duetá pre dve gitary a pre gitaru a klavír. Okrem vlastnej autorskej hudby venoval pozoruhodne veľkú časť svojho diela spracovaniu hudby iných autorov a upravil tiež rôzne, v tom čase populárne ľudové alebo zľudovelé motívy. Počas jeho života vyšla tlačou len časť jeho tvorby. Vydavatelia ho nútili diela zjednodušovať pre potreby širšieho okruhu hráčov, čo mu nebolo po vôli a neskôr vydania svojich skladieb odmietal. Preto sa veľa jeho skladieb zachovalo iba v rukopisoch alebo opisoch.
V Mertzovom diele dominujú skladby pre šesťstrunovú gitaru (Zwey Polonaisen und Mazurka, Trois Nocturnes, La Carnaval de Venise, Sechs Schubert´sche Lieder für die Guitare, cykly Bardenklänge, Opern-Revue, Portefeuille für Guitarre-Spieler a Kukuk) a desaťstrunovú gitaru (Fantaisie Hongroise, Fantaisie Originale, Le Gondolier, Elegie, Concertino, Harmonie du Soir).
Nasleduje komorná hudba s obsadením gitary, v ktorej dominujú gitarové duetá pre tercgitaru a gitaru (Am Grabe der Geliebten, Ich denke Dein, Trauermarsch, Unruhe, Wasserfahrt am Traunsee, Ständchen) a duetá pre tercgitaru a klavír (Mazurka, Barcarole, Divertissement über „Rigoletto“). Okrem toho sem možno zaradiť úpravy piesní pre hlas so sprievodom gitary (Beliebte Gesänge mit Begleitung der Guitare) a trio pre husle (alebo flautu), violu a gitaru (Divertissement über „Der Prophet“). Gitarové skladby dopĺňa sedem zošitov skladieb a úprav pre citeru a jedna skladba pre mandolínu a gitaru.