1892 року у м. Миколаїв було відкрито відділення Російського музичного товариства та музичні класи при ньому. 1900 року на базі музичних класів було відкрите музичне училище. У 1913 році в училищі навчалися 130 учнів, але навчальний заклад закінчило лише 5 осіб. Училище готувало фахових виконавців на музичних інструментах, співаків, керівників хорового співу, капельмейстерів оркестрів.

У державному архіві Миколаївської області зберігаються документи Миколаївського музичного училища за 1932-1941 та 1959-1998 роки, які розповідають про його історію.

1935 року приміщення училища знаходилось по вул. К.Маркса, 11 та складалось із залу та 7 класних кімнат. У грудні 1936 року управлінський апарат училища складався з таких посад: директор, заступник директора з навчальної частини, секретар, завідувач господарством та бухгалтер. Штат училища: педагоги – 21 особа, 12 одиниць адміністративно-господарський персоналу та 141 учень. Термін навчання – 6 років. Стипендію (від 60 до 120 крб.) отримували 105 учнів.

1937 року було організовано оркестр народних інструментів, симфонічний та духовий оркестри. У квітні 1938 році при музучилищі діяла бібліотека, котра обслуговувала 122 студенти та 33 викладачі, у  штаті – 2 особи, фонд – 5445 нот та 1618 книг (з них щодо музики – 368).

1938 року музучилище закінчили 18 студентів.

Для проходження практики студентами за училищем у 1939 році, терміном на 5 років, було закріплено Миколаївську філармонію, музичні гуртки та колективи Миколаєва, дитячу музичну школу при музучилищі.

У вересні 1940 року музичне училище мало 7 аудиторій (за потреби у 14), заняття проводили у 2 зміни (з 8 год. до 16-17 год. та з 16-17 год. до 23 год.).

У червні 1941 року музучилище отримало нове приміщення за адресою: вул. 25 Жовтня, 48.

З початком тимчасової нацистської окупації училище припинило діяльність та відновило роботу лише 1959 року (на підставі наказу Міністерства культури УРСР від 27 серпня 1959 року № 403).

26 серпня 1959 року розпочався навчальний рік. Кількість студентів становила 60 осіб. Педагогічними кадрами училище було забезпечене не в повному обсязі (всього було 23 педагоги). Приміщення музичного училища знаходилось на другому поверсі будинку № 2 по вул. Севастопольській та складалось з 13 класних кімнат, концертної зали на 250 глядачів, учительської, кабінету директора, кімнати для партійної та громадських організацій,  бухгалтерії. При училищі діяла нотна та книжкова бібліотека з фондом 1515 екземплярів видань. Музучилище готувало спеціалістів середньої кваліфікації, а саме: педагогів дитячих музичних шкіл, артистів оркестрів, диригентів хору, вчителів співів у загальноосвітніх школах та інше. Термін навчання складав чотири роки.

У 1968-1969 навчальному році музичне училище займало двоповерхову будівлю по вул. Севастопольській, 2 та складалось з 29 аудиторій, концертної зали на 250 осіб, кабінетів директора та завуча, учительської, бібліотеки (фонд - 23150 екземплярів книг та нот), спортивної зали (підвальне приміщення) та оркестрово-хорового класу. Педагогічний колектив складався з 35 викладачів. В училищі навчалось 268 студентів. Рішенням екзаменаційної комісії від 7 червня 1969 року 13 випускників училища були рекомендовані для вступу до консерваторій на стаціонарне навчання.

За період діяльності 1969-1998 рр. завдання та функції училища не змінились. Вони були спрямовані на забезпечення навчально-педагогічного процесу з підготовки молодших спеціалістів за спеціальністю «музичне мистецтво».

Згідно з наказом Міністерства освіти України від 17 червня 1994 року № 186 Миколаївське державне музичне училище перейменовано у Миколаївське державне вище музичне училище.

Відповідно до  річного звіту за 1997-1998 навчальний рік навчання на I-IV курсах здійснювалось на підставі навчального плану, рекомендованого Міністерством культури та мистецтв України від 12 травня 1996 року, усі дисципліни викладали української мовою. Упродовж навчального року проведено більше 100 концертів, в яких взяли участь усі студенти та викладачі училища. В училищі працювало 5 спортивних секцій: шахи, кульова стрільба, настільний теніс, легка атлетика, гімнастика, котрими було охоплено 115 студентів. Всього в училищі навчалось 304 студенти та працювало 140 викладачів.