Vorläufer waren drei private, auf Vereinsbasis geführte MSch.n:

1) Neues Wiener Konservatorium, 1909, im Jahr der Verstaatlichung des Konservatoriums der Gesellschaft der Musikfreunde und seiner Weiterführung als k. k. Akademie für Musik und darstellende Kunst; als Privat-MSch. Th. Kretschmann (Sitz: Wien I, Jakobergasse 5) gegründet; nach außen – zunächst illegale – Verwendung der Bezeichnungen Neues Wiener Konservatorium und Neues Konservatorium für Musik; 1911 Übersiedlung nach Wien I, Strauchgasse 4; 1912 infolge finanzieller Krise Weiterführung unter der Schirmherrschaft des neugegründeten Vereins Neues Wiener Konservatorium, offizielle Bezeichnung Privatschule des Vereins Neues Wiener Konservatorium (erst 1932 Erlaubnis zur Führung der Bezeichnung Neues Wiener Konservatorium); 1915 Bestellung von J. Reitler zum Direktor, der bis zur Auflösung der Schule 1938 im Amt blieb. Unter seiner Führung entwickelte sich das Neue Wiener Konservatorium zur zweitbedeutendsten Musikausbildungsstätte Österreichs nach der MAkad. und übersiedelte in das Musikvereinsgebäude; daneben bestanden noch Unterrichtsräume in anderen Lokalitäten. Das Fächerangebot war umfassend, z. T. sogar innovativ: neben Gesang, allen gängigen Instrumenten und theoretischen Fächern wurden Dirigieren, Oper, Operette und Kabarett, Schauspiel, rhythmische Gymnastik und Bühnentanz, Jazz-Orchester, Radio (Rundfunk), Tonfilm (Film, Filmmusik), Phonetik etc. angeboten. Dem Lehrkörper gehörten viele namhafte ausübende Künstler an, u. a. A. Bahr-Mildenburg, R. Bass, E. Decsey, A. Grünfeld, E. Kanitz, A. M. Klafsky, R. Konta, H. Kralik, J. Labor, C. Lafite, E. Lustgarten, J. Mertin, J. Müller-Hermann, R. Nilius, L. Reichwein, E. Schmedes, R. Schollum, R. Specht, E. Steinbauer, K. Weigl, E. Wellesz, A. Wunderer und Eugene Zador. Mitte der 1920er Jahre wurde eine Kinderabteilung für 6- bis 12-Jährige gegründet. 1929 erreichte das Neue Wiener Konservatorium seine höchste Schülerzahl mit über 1300. Kandidaten des Lehrerseminars konnten in den Fächern Gesang, Klavier, Orgel und Violine die Staatsprüfung ablegen. Die angestrebte Gleichstellung der Anstalt mit der MAkad. (Einführung einer Reife- und Diplomprüfung) wurde nicht erreicht.

2) Wiener Volkskonservatorium, 1926 von Emmerich Maday, dem Leiter des Volksbildungsvereins Apolloneum, F. Grossmann und Eduard Castle auf Basis eines eigenen Vereins gegründet (Sitz: Wien I, Fleischmarkt 15); Ziel war eine gediegene musikalische Bildung breiter Bevölkerungsschichten, was man durch niedrige Schulgelder und dadurch bedingte kurze Unterrichtszeiten zu bewerkstelligen suchte. Angeboten wurden die Fächer Gesang, Klavier, alle Orchesterinstrumente und Theorie, in denen man die Staatsprüfung ablegen konnte, daneben Ergänzungsfächer und Kurse für Volksinstrumente. Neben Grossmann (künstlerischer Leiter) und F. Högler (pädagogischer Leiter) wirkten u. a. F. Burkhart, A. Kaufmann, V. Korda und W. Pach als Lehrer. Aufgrund des regen Zuspruchs an Schülern (1936: über 1100) entstanden Zweigschulen in eigenen Räumen sowie in öffentlichen Schulgebäuden in verschiedenen Bezirken Wiens, in Hadersdorf-Weidlingau/NÖ und in Krems; Mitte der 1920er Jahre kamen Kindersingschulen in mehreren Bezirken hinzu. Die finanzielle Lage der Schule verschlechterte sich ab 1929/30 infolge unseriöser Gebarung sowie der allgemeinen Wirtschaftskrise und wurde 1936 prekär. Der wegen des Umbruchs 1938 eingetretene eklatante Schülerrückgang machte eine Weiterführung schon aus wirtschaftlichen Gründen unmöglich.

3) Konservatorium für volkstümliche Musikpflege in Wien, 1919 unter der Schirmherrschaft des sozialdemokratisch ausgerichteten Vereins für volkstümliche Musikpflege (Obmann: D. J. Bach) gegründet (Sitz zunächst in Wien V, Sonnhofgasse 6, später in Wien V, Margaretengürtel 96 und im letzten Bestandsjahr 1938 in Wien V, Margaretengürtel 80); wendete sich vornehmlich an Arbeiter und deren Kinder, um sie zu qualifizierten Dilettanten heranzubilden. Das Fächerangebot war gegenüber den beiden zuvor genannten Institutionen geringer; es umfasste neben Gesang, Klavier und den wichtigsten Orchesterinstrumenten auch volkstümliche und Jazz-Instrumente sowie Kurse für Musiktheorie, Kammermusik- und Orchesterspiel. Zu den bedeutendsten Lehrern zählten H. Eisler, P. A. Pisk, C. Prohaska und K. Weigl. Die Schülerzahl betrug Ende der 1920er Jahre etwa 400. 1934 wurden alle für die Geschicke der Schule verantwortlichen Funktionäre wegen ihrer Zughörigkeit zur sozialdemokratischen Partei entlassen; neuer Vereinsobmann und Konservatoriumsdirektor wurde H. Jancik. In der Folge verließ auch ein Großteil der Lehrer und Schüler die Anstalt.

Unmittelbar nach dem Anschluss Österreichs an Deutschland (Nationalsozialismus) wurden mit der Auflösung aller Vereine auch die genannten Privat-MSch.n liquidiert und deren äußerst bescheidenes Vermögen der noch im Frühjahr 1938 auf Gemeindeebene gegründeten MSch. der Stadt Wien einverleibt; deren Direktor O. Steinbauer und sein Stellvertreter F. Högler übernahmen auch einen Teil der Lehrkräfte. Auch strukturell stützte sich die MSch. der Stadt Wien auf Konzepte des Neuen Wiener Konservatoriums und des Wiener Volkskonservatoriums, wenngleich streng im nationalsozialistischen Kontext. Der Hauptanstalt, die ihren Sitz zunächst im ehemaligen RAVAG-Gebäude in der Johannesgasse 4b hatte (1939 kam das Nebenhaus 4a hinzu; das Doppelgebäude wurde vereinigt), waren acht MSch.n für Jugend und Volk in verschiedenen Bezirken Wiens angeschlossen. Vier davon, die sog. Jugend-MSch.n (Leitung: G. Preinfalk), kooperierten eng mit der Hitlerjugend, die restlichen vier, die sich der Erwachsenenbildung verschrieben (Leitung: F. Högler), mit dem Deutschen Volksbildungswerk (im Rahmen der NS-Gemeinschaft Kraft durch Freude); Anzahl und Standorte der Zweigschulen änderten sich kriegsbedingt. 1939 kamen zunächst ca. 120 Kindersingschulen an diversen Volks- und Hauptschulen hinzu (Leitung: Georg Gruber); somit wurde ein Höhepunkt mit ca. 180 Schulen erreicht. Der Unterricht im Haupthaus stand nur besonders begabten Schülern zwecks Berufsausbildung offen; das Angebot umfasste sämtliche Instrumentalfächer (auch alte Musikinstrumente), Gesang, künstlerischen Tanz, alle theoretischen Fächer sowie die üblichen Ergänzungsfächer. Darüber hinaus trat die ehemalige MAkad. (Reichs-Hsch. für Musik und darstellende Kunst) 1938–41 das Seminar für Schulmusiker an die MSch. der Stadt Wien ab. Zu den bedeutendsten Lehrerpersönlichkeiten zählten neben den bereits genannten: A. Bahr-Mildenburg, F. Burkhart, R. Chladek, F. Grossmann, A. Jerger, V. Korda, J. Lechthaler, E. Marckhl, W. Pach, Roland Raupenstrauch, K. Scheit, R. Schollum, V. Sokolowski, H. U. Staeps und K. Wöss. Die höchsten Schülerzahlen betrugen an der Hauptanstalt 783 (1939), an den Zweigschulen 1025 (1941/42) und an den Kindersingschulen 5083 (1943/44). 1944 erfolgte eine teilweise Verlagerung des Unterrichts in das Schloss Jamnitz (Jemnice/CZ) und andere Ausweichquartiere. Das Haupthaus und andere Schulgebäude in Wien wurden in der letzten Kriegsphase durch Bombentreffer schwer beschädigt; ein Großteil der Musikinstrumente und des Notenarchivs ging verloren.

Am 16.6.1945 wurde W. Fischer zum neuen Leiter bestellt; ein Teil des Lehrpersonals wurde wegen Zugehörigkeit zur NSDAP entlassen. Im Herbst erfolgte die Umbenennung der Schule in Musiklehranstalten der Stadt Wien, bestehend aus Konservatorium, MSch.n und Kindersingschule. Die ersten Nachkriegsjahre waren naturgemäß durch den Wiederaufbau geprägt. Das Konservatorium erhielt ein zeitlich begrenztes Öffentlichkeitsrecht, das mehrmals verlängert und 1950 schließlich in ein dauerndes umgewandelt wurde. Die Zahl der MSch.n wurde bis heute (2004) auf 17 erhöht; jene in Margareten war zeitweise auf die Pflege volkstümlicher Musik festgelegt. Unter K. Lustig-Prean (Direktor 1949–59) erhielten die M. ihr erstes Organisationsstatut (1950). Die MSch.n traten quantitativ und qualitativ stärker in den Vordergrund. Am Konservatorium wurde ein eigenes Schulorchester gegründet und für die Singschullehrer-Ausbildung ein eigenes Seminar eingeführt. In die Direktionszeit von E. Weiss (1960–78) fällt die Gründung des Schulchors und der Jazz-Abteilung; 1965 wurde eine bundeseinheitliche Regelung für den „Lehrgang B“ geschaffen (ab 1982 „Instrumental- und Gesangspädagogik“, 2001 auf die einzelnen Studienrichtungen aufgeteilt).

In der 1. Hälfte der 1970er Jahre wurden im Hauptgebäude große Umbauarbeiten durchgeführt. J. M. Müller (Direktor 1978–90) bemühte sich nach der Erhebung der Akad. in den Hochschulrang (1970) und der Verabschiedung des Kunsthochschul-Studiengesetzes (1983) um eine Gleichstellung des Konservatoriums, erreichte diese jedoch nur in künstlerischer und pädagogischer Hinsicht. Intern führte er eine tiefgreifende Reform der Statuten durch; seither steht jeder Abteilung ein eigener Leiter vor. Besonderes Augenmerk legte Müller auf den Aufbau der Orchesterschule, die einer eigenen Konzertabteilung unterstellt war (1999 aufgelöst). In seine Direktionszeit fällt auch die Gründung der Schauspielabteilung (eine ähnliche Abteilung hatte bereits nach dem Krieg kurzzeitig bestanden). G. Track (Direktor 1990–99) war insbesondere die Erweiterung der Auftrittsmöglichkeiten der Studierenden ein Anliegen, was zu einer deutlichen Zunahme an hauseigenen Veranstaltungen führte. Unter seiner Leitung kam es zu einem starken Ausbau der internationalen Beziehungen sowie zur Gründung einer Abteilung für Alte Musik. Höhere Lehrer- und Schülerzahlen führten zur Schaffung mehrerer Exposituren. Auch im Haupthaus fanden umfangreiche Renovierungsarbeiten statt. Unter R. Markovic (Direktor seit 1999) steht eine Überarbeitung der Statuten und Lehrpläne im Vordergrund; die Entwicklung scheint in eine Ausgliederung des Konservatoriums aus dem Magistrat (dzt. MA 13) und Umwandlung in eine Privatuniv. zu deuten. Dem Lehrkörper des Konservatoriums gehörten bzw. gehören an: Manfred Aichinger, die Mitglieder des Altenberg-Trios, Alexander Arenkow, A. Bahr-Mildenburg, R. Batik, Grete Biedermann, S. Bortkiewicz, L. Brumberg, R. Chladek, Thomas Christian, Maria Eis, Sylvia Greenberg, R. Hansen, J. Hopferwieser jun., A. Jerger, P. Klein, W. Kmentt, B. Kuschnir, David Lutz, J. Mertin, K. Musil, Jewgenij Nesterenko, G. Nienstedt, R. Opratko, E. Ott, R. Politzer, R. Raupenstrauch, A. Rosé, L. Rysanek-Gausmann, G. Scheyrer-Luegmayer, Reinhard Schwarz, K. Schwertsik, V. Sokolowski, H. U. Staeps, F. Uhl, Camillo Wanausek, H. Zadek. Der Kindersingschule standen F. Burkhart und Otto Partmann vor; derzeit wird sie von Ernest Werner Seiler geleitet. Die Zahl der Studierenden bzw. Schüler betrug 2002/03 am Konservatorium 1190 (nach Köpfen), an den MSch.n 5417 (nach Fächern) und an der Kindersingschule 2746.

Den M. stehen zwei Unterstützungsvereine zur Seite, die Hugo-Breitner-Gesellschaft (gegr. 1951), die mehrere Stiftungen verwaltet, und der Verein der Freunde der M. Wien (gegr. 1958), der insbesondere die Aktion „Musik hören – Musik verstehen“ für die Wiener Schuljugend organisatorisch abwickelt. Die beiden Vereine waren 1970–98 zusammengelegt.