Музыкальная школа в Пензе открылась при местном отделении Императорского Русского музыкального общества. Её освящение состоялось 24 сентября (6 октября) 1882. Первоначально для обучения игре на фортепиано, скрипке, виолончели и сольному пению было выделено две комнаты в здании Дома дворянства. Затем, сменив несколько адресов, в начале XX века школа обосновалась в городской усадьбе на улице Пешей (ныне улица Богданова).
Здание школы построено в XIX веке в стиле модерн и является объектом культурного наследия. Одной из самых примечательных построек в стиле модерн в нашем городе является усадьба Н. П. Сахаровой. По окладным книгам Пензенской городской управы на 1900—1903 гг. усадьба принадлежала надворному советнику Алексею Ивановичу Дубровину (ул. Богданова, 19, ранее — ул. Пешая). 28 марта 1905 года Дубровин продал усадьбу коллежскому асессору Александру Алексеевичу Легошину, а 12 декабря 1905 года последний продал её жене инженера путей сообщения Наталии Петровне Сахаровой. Осенью 1906 г. Н. П. Сахарова возвела довольно большое строение, внутренняя отделка которого была окончена к началу 1907г.
С 1902 года школой руководил Лев Соломонович Шор, с самого открытия преподававший в ней фортепиано. В 1904 году в школе начал работу и впоследствии создал Пензенскую фортепианную школу Николай Александрович Витвер. После революции школа по предложению её выпускника Федора Петровича Вазерского была преобразована в Народную консерваторию. С 1918 года в ней начали обучение около 1000 юных музыкантов. С 1920 года директором школы стал Алексей Васильевич Касторский. Учебное заведение получило статус училища второй ступени, а затем переименовано в музыкальный техникум. При этом обучение велось непрерывно: подающие надежды учащиеся школы зачислялись в техникум без экзаменов. В 1925 году директором стал Алексей Сергеевич Турищев, написавший песню «Врагу не сдаётся наш гордый „Варяг“».
Во время войны в школу была эвакуирована Центральная музыкальная школа при Московской государственной консерватории. Занятия в школе продолжались все военные годы, а техникум был временно закрыт.
В 1962 году музыкальное училище было выделено в самостоятельную организацию, а в старом здании на улице Богданова осталась только детская музыкальная школа.
