Gemäß dem Eintrag im Geburtsregister der Dompfarrei St. Martin wurde Johann Kaspar Mertz am 17. August 1806 in der Laurinská-Straße in Bratislava (damals Preßburg) geboren. Laut dieser Quelle ist sein Name Joseph Kaspar Mertz (lateinisch Casparus Josephus Mertz) und nicht wie bisher irrtümlich angenommen Johann Kaspar.
Bis 1840 lebte Mertz in Preßburg und beteiligte sich aktiv am künstlerischen Leben der Stadt, insbesondere durch Aktivitäten im städtischen Kirchenmusikverein am Dom St. Martin. Regelmäßig wirkte er an Akademien (Konzerten) mit, die durch diesen Verein organisiert wurden (1834, 1838-1841, 1851). Im Jahr 1840 war er dessen Archivar. Genau in diesem Jahr wandte er seine Aufmerksamkeit auf das nahegelegene Wien, das zweifellos eines der wichtigsten kulturellen Zentren Europas war.
Nach erfolgreichen Auftritten im Königlichen Theater im Jahr 1840 wurde er zum Hofgitarristen der Kaiserin Carolina Augusta ernannt. In den folgenden Jahren unternahm er viele Konzertreisen innerhalb Europas (vor allem nach Mähren, Polen, Deutschland) und heiratete die Pianistin Josephine Plantin. Im Jahr 1843 ließ sich das jungverheiratete Paar in Wien nieder, wo sie bis Mertz Tod lebten und arbeiteten. Nach längeren gesundheitlichen Problemen starb er am 14. Oktober 1856.
J. K. Mertz gehört zweifellos zu einem der wichtigsten Gitarristen und Komponisten frühromantischer Gitarrenmusik. Am Ende seines Lebens im Jahr 1856 gewann er den ersten Preis für die beste Komposition für Gitarre (Concertino) im europaweiten Wettbewerb in Brüssel, den der russische Adelige und Gitarrenliebhaber Nikolaj Petrovič Makarov (1810-1890) ausgeschrieben hatte.
Mertz umfangreiches Werk beinhaltet insbesondere mannigfaltige Kompositionen für Gitarre, Duette für zwei Gitarren und für Gitarre und Klavier. Neben eigenen Kompositionen widmete er einen bemerkenswert großen Teil seiner Arbeit der Bearbeitung von Musik anderer Autoren und bearbeitete auch unterschiedliche, in dieser Zeit populäre volkstümliche Motive. Während seines Lebens erschien nur ein Teil seines Werks in gedruckter Form. Verleger zwangen ihn, seine Arbeiten entsprechend der Bedürfnisse einer breiteren Palette von Spielern zu vereinfachen, was nicht nach seinem Willen war. Sodass lehnte er die Veröffentlichung seiner Werke später ab. Daher überlebten viele seiner Kompositionen nur in Handschriften oder Beschreibungen.
In Mertz Werk dominieren Kompositionen für sechssaitige Gitarre (Zwey Polonaisen und Mazurka, Trois Nocturnes, La Carnaval de Venise, Sechs Schubert´sche Lieder für die Guitare, Zyklen Bardenklänge, Opern-Revue, Portefeuille für Guitarre-Spieler a Kukuk) und zehnsaitige Gitarre (Fantaisie Hongroise, Fantaisie Originale, Le Gondolier, Elegie, Concertino, Harmonie du Soir).
Dann folgte Kammermusik mit Gitarrenbesetzung, in denen Gitarrenduette für Terzgitarre und Gitarre (Am Grabe der Geliebten, Ich denke Dein, Trauermarsch, Unruhe, Wasserfahrt am Traunsee, Ständchen) und Duette für Terzgitarre und Klavier (Mazurka, Barcarole, Divertissement über „Rigoletto“) dominieren. Darüber hinaus kann man hier die Bearbeitung von Liedern mit Gitarrenbegleitung (Beliebte Gesänge mit Begleitung der Guitare) und Trios für Violine (oder Flöte), Bratsche und Gitarre (Divertissement über „Der Prophet“) einordnen. Die Gitarrenkompositionen werden durch sieben Hefte und Bearbeitungen für Zither und ein Stück für Mandoline und Gitarre ergänzt.