29 жовтня 1881 року міністр внутрішніх справ князь П.Вяземський затвердив проект статуту Миколаївської громадської бібліотеки, заснованої «з метою доставляння жителям м. Миколаїв і його околиць якомога більшого полегшення у справі самоосвіти». 28 січня 1882 року було відкрито безкоштовну читальню у приміщенні бібліотеки, арендованому у будинку Йешке на розі вулиць Спаська та Молдаванська (нині вул. Декабристів). За можливість брати книги додому читачі платили 5 крб. на рік або 50 коп. на місяць; міська управа виділяла на утримання бібліотеки щорічно 1000 крб. Першим головою дирекції бібліотеки був обраний міський голова М.Паризо, першим бібліотекарем призначена вдова дворянина М.К.Арсеньєва. Вже у лютому 1882 року бібліотеку щодня відвідували близько 120 осіб, хоча у її фонді були лише газети та журнали. У грудні 1893 року на розі вулиць Спаська та Різдвяна (нині вул. Лягіна) вуло відведено місце для будівництва нового приміщення бібліотеки, і з 1894 року вона перебувала у власному приміщенні по вул. Спаська, 56 (до 1964 року).
Протягом 1914 року бібліотеку відвідали 2939 читачів, 1915 року – 3846, 1916 року – 5030; книг та журналів було видано 1914 року – 104244, 1915 року – 133822, 1916 року – 171951. Штат бібліотеки 1917 року складався із завідувача, 7 постійних помічниць та 1 тимчасової, 8 подавальниць.
13 грудня 1920 року на базі громадської бібліотеки було утворено Миколаївську центральну бібліотеку, що перебувала у веденні Губнаросвіти, 1938 року її було перейменовано на обласну бібліотеку для дорослих.
1939 року фонд бібліотеки складався з 154821 тому, передплачувались 26 найменувань газет та 155 журналів, було обслуговано 15849 читачів; штат бібліотеки нараховував 26 працівників.
Під час нацистської окупації Миколаєва бібліотека продовжувала працювати, її штат складався з 14 осіб. На вимогу окупантів була вилучена з книжкового фонду соціально-економічна література радянських авторів, література єврейською мовою й твори авторів-євреїв; натомість був сформований відділ з книг українською мовою (у тому числі видавництв «Година» і «Рух»), раніше знятих з полиць, та творів письменників з націоналістичним уклоном. Стараннями працівників бібліотеки було зібрано літературу з розгромлених нацистами бібліотек міста, розсортовано за штампами установ та розміщено у книгосховищі. Під час окупації бібліотеку відвідали більше 6 тисяч читачів.
Після звільнення міста 28 березня 1944 року бібліотека стала працювати більш активно, наприкінці року її штат налічував 24 працівника, протягом року було проведено 12 лекцій, організовано 17 книжкових виставок.
1946 року було проведено роботу з переобліку книжкового фонду, у результаті котрої заінвентаризовано 156969 томів. Бібліотека почала обслуговувати працівників сільського господарства, надсилаючи їм книги поштою; 1948 року за заочним абонементом 310 читачам було надіслано 1086 книг.
1947 року був організований міжбібліотечний абонемент (МБА), розпочато роботу з краєзнавства, при бібліотеці працювали літературний і рецензентський гуртки. 1948 року було затверджено «Положення про обласну бібліотеку», згідно з яким вона здійснювала організаційно-методичне керівництво масовими бібліотеками області.
1950 року бібліотека обслуговувала більше 16000 читачів, яким було видано 215212 книг; було проведено 4 екскурсії, 5 літературних вечорів, 103 читання-бесіди, 17 лекцій, організовано 102 книжкові виставки, видано 952 бібліографічні довідки.
1959 року бібліотека безкоштовно отримала кілька партій літератури з обмінних фондів Одеської державної наукової бібліотеки ім. Горького, Одеської та Херсонської обласних бібліотек; було закуплено партію художньої літератури німецькою, польською, французською та англійською мовами.
19 вересня 1964 року відбулося урочисте відкриття бібліотеки у новому приміщенні по вул. Московська, 9.
Рішенням виконкому Миколаївської обласної Ради депутатів трудящих від 8 січня 1967 року № 21 бібліотеці присвоєно ім’я Олексія Гмирьова.
1980 року книжковий фонд бібліотеки налічував 1552856 примірників, штат складався з 89 працівників, 19369 осіб мали читацькі квитки; протягом року проведено 262 виставки, 26 літературних вечорів і усних журналів, 3 читацькі конференції, 8 Днів бібліографії, 16 Днів інформації, 12 Днів фахівця, видано 558 бібліографічних і 340 краєзнавчих довідок, підготовлено 228 бібліографічних оглядів, укладено 11 рекомендаційних списків літератури.
1987 року з’явилися нові форми роботи з читачами: літературно-музична вітальня (на базі відділу мистецтв), творчі зустрічі з письменниками Миколаївщини, участь у роботі міського літературного кафе «Вітрило».
1996 року у бібліотеці діяли 16 відділів і 11 секторів, на 1 січня 1997 року бібліотечний фонд становив 2343180 примірників, штат бібліотеки складався з 71 співробітника.
