Отсутствие у библиотеки отдельного здания, частая смена помещений создавали большие трудности для качественного обслуживания читателей, дальнейшего увеличения фондов, расширения их использования.

С 1934 г. библиотека получала обязательный платный экземпляр из коллектора научных библиотек Москвы. Расширялась и структура библиотеки, в которую теперь входили абонемент, читальный зал, справочно-библиографический отдел, методический кабинет, межбиблиотечный абонемент, передвижной фонд. Велась активная работа по упорядочению каталогов и картотек, была организована краеведческая картотека для хранения и поиска универсальной краеведческой информации. В 1936 году фонд библиотеки составлял уже 61 655 экз.

Все это привело к тому, что было принято решение о строительстве отдельного здания Республиканской библиотеки на перекрестке улиц Пушкина и Палантая.

Первый генеральный план строительства был разработан в середине 30-х гг. 

В 1936 г. директором Республиканской  библиотеки был назначен Иван Григорьевич Виноградов, первый из марийцев специалист с высшим  библиотечным образованием. К этому времени фундамент здания библиотеки уже был заложен. Однако первый проект здания библиотеки явно не соответствовал тем задачам, которые стояли перед библиотекой, а главное, выполнить эти задачи не позволяла существовавшая в то время структура библиотеки. От нового директора потребовалось немало мужества и сил, чтобы остановить строительство и приступить к составлению нового проекта. Это потребовало дополнительного финансирования, за которое пришлось побороться в Госплане СССР. Автором проекта стал молодой архитектор Кутлубай Семенов, считавшийся одним из перспективных, консультировал проект лично И. Г. Виноградов.

Справка. Кутлубай Семенович Семенов – один из первых архитекторов «каменной» Йошкар-Олы (вместе с А. А. Суриковым). После окончания Московского архитектурного института в 1935 г. молодых архитекторов направляют на работу в Йошкар-Олу, в архитектурно-проектную контору, где они начинают готовить строительные планы города. По проектам К. С. Семенова в конце 30-х гг. были построены: здание НКВД (ныне МВД), третий корпус общежития Маргосуниверситета, корпус Республиканской больницы, а также жилые здания по улице Советской. Главным детищем К. С. Семенов считал здание Республиканской научной библиотеки.

В 1940 г. здание библиотеки было построено. В то время это было лучшее здание библиотеки в РСФСР и по праву считалось одним из красивейших в Йошкар-Оле. Открытие библиотеки стало важным событием в культурной жизни города.

Здание построено в архитектурном стиле Советской классики (Сталинский ампир). Особой гордостью стал читальный зал на 200 читательских мест, с высокими стрельчатыми окнами, широким балконом, скрытым колоннами. Карниз главного фасада имеет надпись на фризе «РЕСПУБЛИКАНСКАЯ БИБЛИОТЕКА». Слева перед фасадом стоял интересный каменный вазон (примета «сталинского ампира»). В библиотеке имелась собственная котельная.

С правой стороны здания, до постройки в 1985 году современного корпуса библиотеки, находилась стена с нишами, над ней светящаяся надпись «Знания – народу!», перед стеной – Доска почёта и клумбы.

В 2007 году здание Республиканской библиотеки признано памятником архитектуры регионального значения «Библиотека республиканская, 1938 г.». Объект принят на государственную охрану постановлением Правительства Республики Марий Эл от 27.06.2007 г. № 162 «О мерах по обеспечению сохранности объектов культурного наследия» (памятников истории и культуры) Республики Марий Эл, имеет Охранное обязательство № 10 от 14 октября 2009 г.

К 100-летия образования Республики Марий Эл (2020 г.) на объекте культурного наследия «Библиотека республиканская, 1938 г.» предусмотрена реставрация (в соответствие с планом основных мероприятий, связанных с подготовкой и проведением празднования 100-летия образования Республики Марий Эл, утвержденном распоряжением Правительства Российской Федерации от 27 мая 2016 года № 1037-р). Реставрационные работы будут проведены в 2018-2019 гг.