Миколаївський учительський інститут було відкрито 27 жовтня 1913 року на підставі Положення про учительські інститути від 31 травня 1872 року. Складався зі словесно-історичного, фізико-математичного та природничо-географічного факультетів. Перебував у віданні Міністерства народної освіти, безпосередньо підпорядковувався попечителю Одеського навчального округу. Готував учителів для міських училищ. Для проходження студентами практики при інститутові було відкрито міське училище з чотирирічним терміном навчання.

У березні 1920 року учительський інститут було перетворено на педагогічний. 1921 року перейменований в інститут народної освіти з чотирирічним терміном навчання. 1930 року був реорганізований в інститут соціального виховання з трирічним терміном навчання. 1934 року заклад перейменували у педагогічний інститут з чотирирічним терміном навчання. 1936 року при педінститутові було відкрито вчительський інститут і вечірнє відділення. У серпні 1938 року відкрито заочний відділ. Перебував у віданні Народного Коміссаріату освіти УРСР.

У 1941–1944 рр. інститут припиняв діяльність у зв’язку з тимчасовою нацистською окупацією міста. У квітні 1944 року відновив роботу у складі трьох факультетів: фізико-математичного, природознавчого, мови та літератури. 1946 року був підпорядкований Міністерству освіти УРСР. 1948 року інститутові було присвоєно ім’я В.Г.Бєлінського.

У 1944–1950 рр. інститут мав три факультети: фізико-математичний, природознавчий і мови та літератури. У вересні 1950 року було закрито природознавчий факультет.  1958 року було відкрито факультет фізичного виховання та спорту, 1970 року – факультет музики та співів (музично-педагогічний), 1978 року – історичний факультет. 1979 року музично-педагогічний факультет перейменовано на факультет підготовки вчителів початкових класів.

У травні 1992 року назву закладу змінено на Миколаївський державний педагогічний інститут.

1993 року в інститутові відкрито правовий коледж з вечірньою формою навчання та створено факультет післядипломної освіти.

1999 року інститут перейменований на педагогічний університет, 2002 року отримав статус державного університету, 2003 року йому присвоєно ім’я В.О.Сухомлинського.