Перша згадка про бібліотеку з'явилась в документах архіву за 1923 р. Це був невеликий список книг дитячої читальні №1 (так називалася тоді бібліотека). Список складався з 33 книг для молодшого і 53 книг для середнього віку на суму 78 карб. 50 коп.
Знаходилась бібліотека в приватному двоповерховому будинку по вулиці Плеханівській, 205 (Одеська, 93), який належав хазяйці Руденко Д.В. На першому поверсі будинку розташовувалася бібліотека. Складалася вона з 5 кімнат загальною площею 71 кв.м. Орендну плату бібліотека платила господині будинку щомісяця аж до 1973 р. Керувала читальнею Гроссман Любов Абрамівна.
У 1926 році дитяча читальня №1 вже фігурує як дитяча бібліотека №1, це з’ясовується із заяви в окрполітпросвет завідуючої бібліотекою Гроссман Л.А. У ній йдеться про важкі умови роботи бібліотеки, про необхідність ремонту, про те, що бібліотека обслуговує велику масу читачів віддаленого робочого району. Станом на 1 лютого 1926 р бібліотека мала 1200 читачів. Читальна зала обслуговувала 100-120 читачів в день, а абонемент - 250-300. Завідуюча бібліотекою просила кошти на поліпшення матеріального становища бібліотеки.
У 1927 році були знесені перегородки в кімнатах, в результаті чого була організована читальна зала, абонемент для учнів 1-4 класів, абонемент для учнів 5-10 класів, книгосховище і кабінет завідуючої бібліотеки. Після війни, в 1945 році, завідуючою бібліотекою стала Шустова Олена Онуфріївна.
У 1952 році завідуючою була призначена Валентина Василівна Павлюченко. Почався збір матеріалів про життя і подвиг Шури Кобера і Віті Хоменка. Велику допомогу надали рідні хлопчиків, члени підпільної організації «Миколаївський центр», вчителі шкіл №12 та №5, однокласники героїв. В результаті проведеної роботи було зібрано достатню кількість документів і експонатів, що дало право просити Сталінський райвиконком надати бібліотеці ім'я Шури Кобера і Віті Хоменко.
Рішенням Сталінського райвиконкому від 15 жовтня 1959 року бібліотеці було присвоєно ім'я піонерів-героїв. На мітингу на честь цієї події були присутні: мати Віті Юлія Іванівна Хоменко, племінниця Шури Світлана Кобер, поети Михайло Владимов і Еміль Январьов.
У 1973 році бібліотека переїхала. Для неї виділили просторе приміщення на першому поверсі новобудови на проспекті Леніна, 173.
1976 став роком створення однієї великої централізованої системи бібліотек. Міська дитяча бібліотека №1 стає Центральною, а до неї приєдналися ще 7 дитячих бібліотек. Трохи пізніше в місті відкрилися ще 3 філії.
Першим директором Централізованої бібліотечної системи стала Гришкова Людмила Олексіївна.
З 1991 року директор бібліотеки - Семілєт Наталія Вікторівна.
У 1992 році в бібліотеці з'явилися перші комп'ютери. Ця подія кардинально змінила життя бібліотеки. Комп'ютеризація бібліотеки розпочалася з видавничої та оформлювальної діяльності. У 1993 році в бібліотеці з'явилася програма «АБІС МАРК», за допомогою якої почалося створення першого електронного каталогу книг. А в 1996 році бібліотека (за допомогою модемного з'єднання) підключилася до всесвітньої мережі Інтернет.
1999 став ще однією важливою віхою в житті бібліотеки. Співробітники бібліотеки написали проект і виграли свій перший грант. Програма «Ти не один у світі», що спонсувалась фондом «Відродження», дозволила провести велику роботу з навчання роботі на комп'ютері дітей з обмеженими фізичними можливостями. Діти отримали комп'ютери, оргтехніку та можливість підключитися до Інтернету, а бібліотекари допомогли їм налаштувати техніку і навчили як з нею поводитися.
2001 рік став роком створення офіційного сайту, за допомогою якого бібліотека заявила про себе всьому світу.
У 2003 році в бібліотечну практику впровадили інформаційну систему «АБІС Ірбіс». На даний момент електронний каталог налічує понад 123 000 записів і включає в себе бази даних «Книжковий фонд», «Періодика», «Читачі», «Електронні ресурси». Зараз електронний каталог бібліотеки представлений в Інтернеті.
У 2009 році з'явився блог «Бібліотека міста N», а в 2011 році створено мікроблог в Твіттері.
2011 рік приніс бібліотеці дві перемоги: друге місце в конкурсі Української бібліотечної асоціації «Бібліотека року» та перемогу в Першому національному конкурсі блогів «3іркі бібліотечної блогосфери» в номінації «Кращий блог бібліотеки». В цьому ж році в бібліотеці була створена Абонементна служба книжкової навігації (АСКН). В кінці року було урочисто відкрито Зал електронно-інформаційних ресурсів. Крім книг і комп'ютерів, в ньому з'явилися електронні книги (з доступом до Інтернет) і айпади.
У 2012 році наша бібліотека виграла третій раунд конкурсу «Організація нових бібліотечних послуг з використанням вільного доступу до Інтернет» і отримала грант на суму 85000 грн. В результаті був відкритий «Центр вільного доступу до Інтернет «Web@кваріум».
У 2017 році двері відчинили одразу дві оновлені бібліотеки: бібліотека для дітей №2 («Колоbook») на вул. Соборній і бібліотека для дітей №4 «Читай-city») на Бузькому бульварі. В обох бібліотеках був оновлений інтер'єр та створений креативний простір.
Навесні 2018 року бібліотека приймала пересувну виставку «Дитяча література Швеції», привезену до нашого міста співробітниками Посольства Швеції в Україні. По її слідах в бібліотеці пройшов круглий стіл «Розмова про головне. Читання підлітків. Відлуння шведської пересувної виставки» за участю відомих миколаївських письменників.
У 2018 р. після капітального ремонту відкрилась бібліотека для дітей №8 («БібліоВулик») на проспекті Корабелів. Восени 2018 року Центральна бібліотека відзначила 95-річний ювілей.
В липні 2021 року директором бібліотеки стала Таїсія Олегівна Белібова.
Дитячі бібліотеки працювали над реалізацій проектів «Інтерактивний інклюзивний простір «Казка» (бібліотека для дітей №2) та проекту «МедіаLab на Проспекті», які фінансувалися за рахунок громадського бюджету м.Миколаєва.
Восени 2023 року Центральна бібліотека відзначила 100-річний ювілей.