Über die Anfänge der Kirchenmusik an St. K. liegen kaum Nachrichten vor, vermutlich wirkte M. G. Monn hier als (erster ab 1738?) Organist. Für das 18. Jh. könnte man eine den böhmisch-mährischen Niederlassungen des Kreuzherren-Ordens entsprechende Musikkultur vermuten. Das reiche Musikarchiv der Karlskirche (nunmehr in A-Wn) setzt in seiner Überlieferung erst um 1800 ein und umfasst u. a. Autographe, z. T. mit Widmungen, von S. Sechter, C. Czerny, F. J. Zierer, H. Marschner u. a. Charles Gounod komponierte ein Requiem in d-Moll für St. K., wie ein autographes Titelblatt samt Widmung belegt. Als erste Chorregenten sind Leopold Himmelbauer (ca. 1705–81) und Simon Thaddäus Kölbel (1737–1806) überliefert. Kölbel könnte nähere Verbindungen zu der von J. Haydn geleiteten Kapelle des Fürsten Esterházy gehabt haben. Der wöchentliche Chordienst bestand zu dieser Zeit aus dem sonntäglichen Hochamt und einer Litanei, einer Litanei an Samstagen und an Vorabenden von Marienfeiertagen sowie einem jeden Donnerstag in Erinnerung an das Pestgelübde von Karl VI. gehaltenen Lobamt. Die Nachfolger Kölbels waren ab 1807 Jos. Schmidt (noch 1811, bis 1819?) und ca. 1820 J. Seipelt. Ihnen folgten Michael Hanss (1767–1825) und 1825/26 F. Weber. Nach dieser Phase der häufigen Wechsel war die Bestellung von J. Ruprecht zum Chorregenten 1827 ein Glücksfall, konnte er doch die Kirchenmusik auf ein hohes Niveau führen. Das Repertoire setzte sich aus Werken der Wiener Klassiker und ihrer Nachfolger sowie aus Kompositionen der Renaissance- und Barockzeit zusammen; nach und nach trat auch dem Cäcilianismus verpflichtete Kirchenmusik hinzu. Zur Seite stand Ruprecht hier der am 13.7.1825 behördlich genehmigte Kirchen-Musik-Verein an St. Carl in Wien unter der Führung von Ernst v. Raymond, der zeitweise auch eine eigene MSch. führte. Ruprechts Tätigkeit erstreckte sich mit einer Unterbrechung 1860/61 bis zu seinem Ableben 1880; 1860/61 leitete August Tuma provisorisch den Chor, er dürfte um diese Zeit als Organist an St. K. gewirkt haben. Nachfolger Ruprechts waren 1880–97 Karl Lenz (ca. 1826/27–97), 1897–1933 V. Boschetti (ab 1888 bereits Organist) und 1933–38 Rein. Schmid. Während der Kriegs- und Nachkriegszeit wechselten die Chorleiter mehrmals (Hermann Lang 1938–40, ein gewisser Singer, Johann Macher, Joseph Heinz 1943–47, J. Mertin 1948/49). 1949–59 leitete Rupert Corazza den Chor, 1960–75 Karl Hagemayer (anschließend an St. Laurenz am Schottenfeld).
Die Orgel stammt in ihren Ursprüngen (Gehäuse) aus der Barockzeit und hatte 18 Register, 1822 arbeitete J. Deutschmann an ihr. 1847 erfolgte ein Neu-/Umbau durch Joseph Seyberth (II/31). 1972 Reparatur durch Adolf Donabaum, 1986–89 Restaurierung durch Ge. Hradetzky. Das Instrument hat als Besonderheit eine im Spieltisch eingebaute Harmoniumstimme („Phys-Harmonica“, 1989 rekonstruiert). Als Organisten sind Joseph Bürger (ca. 1783), Joh. Khayll (zw. 1791/97), J. B. Spoth (ca. 1854), A. Vancura, F. Wolf (1955–74) und R. McGuire (1976–90) bekannt. Letztere leitete hier auch 1981–89 eine Konzertreihe zugunsten der Orgelrestaurierung. Um 2000 lag die kirchenmusikalische Gestaltung an St. K. in den Händen eines Ensembles für die Kirchenmusik der Karlskirche, das unter der Leitung von Benedikt Bonelli stand; an der Orgel saß 1995–2002 E. Wally. 2004/05 und 2007 gestaltete das Borromeo Consort unter Thomas Dolezal fallweise Hochämter und Kirchenkonzerte an St. K. (Orgel: u. a. P. Hrncirik jun.). Danach gab es in der Karlskirche keine regelmäßige Kirchenmusikpflege, als Gastensemble stand das Trio Musica Sacra zur Verfügung. Seit 2011 ist (2022) Ricardo Luna Kapellmeister an St. K., wo seither der Aufbau der Kirchenmusik erfolgt. Die Eröffnung der Kreuzherrenmusikschule, der einzigen katholischen Ordens-MSch. Wiens, mit Beginn des Schuljahres 2016/17 wirkte sich hier positiv aus. Keinen dauerhaften Erfolg hatte dagegen ein Jahr später der Versuch, unter der Leitung von Alexander Jost einen Sängerknabenchor (Karlsknaben) ins Leben zu rufen. Die Kirche wird auch als Konzertraum für Orchester- und Solistenkonzerte verwendet.
Bemerkenswert ist das Geläute von St. K., das noch insgesamt sechs Glocken aus dem 18. Jh. (gegossen von Johann Baptist Dival, Franz Ulrich und Franz Josef Scheichel) umfasst. Zur Ergänzung der durch Kriegsverluste entstandenen Lücken im Geläute wurden 2011 zwei neue Glocken geweiht.
TMA 4 (1968) u. 7 (1973); Th. Antonicek, 150 Jahre Kirchenmusik und Musikarchiv der Karlskirche 1975; J. Dobner, Gesch. des … Kirchen-Musik-Vereines an der k. k. Gelübde- und Pfarrkirche St. Carl Borromäus auf der Wieden in Wien 1875; O. Biba in Jb. f. österr. Kulturgesch. I/2 (1971); W. Sauer in Kirchenmusikalisches Jb. 63/64 (1979/80); M. Kammerer in SK 13 (1975); G. Hradetzky in SK 36 (1989); H. Heiling in SK 20 (1972/73); Ch. Fastl in M. Jahn/K. Petermayr (Hg.), Jb. des RISM-Österreich 2010, 2010; A. Weißenbäck/J. Pfundner, Tönendes Erz 1961; SK 59 (2012), 33; Czeike 3 (1994); www.karlskirche.at (1/2022); www.pfarre-karlskirche.at (9/2015); www.erzdioezese-wien.at (5/2012); https://wien.orf.at/v2/news/stories/2878877/ (1/2022); https://wien.orf.at/v2/news/stories/2864333/ (1/2022); www.facebook.com/Kreuzherrenmusikschule/ (1/2022); www.meinbezirk.at (1/2022); Mitt. Diözesanarchiv Wien; eigene Recherchen (u. a. SK).