Усадьба окружена тянущейся вдоль улицы каменной оградой с чугунными решётками и воротами.
В глубине сада, по задней границе была расположена оранжерея.
В дальнейшем дом неоднократно менял хозяев.
В 1854 году особняк приобретает Николай Федорович Мамонтов (1845—1918) — русский предприниматель, книгопродавец и издатель; потомственный почётный гражданин.
И с этого времени начинается один из самых замечательных периодов в жизни усадьбы. Здесь бывали: Герман Августович Ларош – музыкальный критик, друг П.И. Чайковского, сам Петр Ильич Чайковский, Павел Михайлович Третьяков – муж дочери Н.Ф. Мамонтова Веры Николаевны Мамонтовой.
В 1856–1857 годах при Н.Ф. Мамонтове перестраиваются западный и восточный корпуса, ограничивающие парадный двор.
Справа виден одноэтажный флигель, такой же симметрично с другой стороны.
Вид флигеля от крыльца
Также изменяется декоративное оформление интерьеров.
Дом приобретает внешне тот самый вид, которым можно любоваться и поныне: особняк, оформленный в стиле русского псевдобарокко с портиком, колоннами и двумя флигелями.
Украшенные чугунной вязью балконы появились также при Н.Ф. Мамонтове.
Последними владельцами Дома были купцы Мухины (с 1882 года по 1911 год), занимавшиеся торговлей мукой и хлебом.
На заседании Московской Городской Думы 26 января 1899 года рассматривался вопрос о порядке празднования городом предстоящего столетия со дня рождения А.С. Пушкина. 27 июля 1899 года было принято решение: «С целью увековечить день столетия со времени рождения А.С. Пушкина и с целью доставить возможность пользоваться книгами тем слоям городского населения, которым по состоянию их средств, существующие библиотеки недоступны, Московская Городская Дума учреждает библиотеку-читальню в память А.С. Пушкина, согласно утверждённых Министерством Внутренних Дел правил от 15 мая 1890 года».
Об открытии в Москве библиотеки имени Пушкина задумались в 1899 году — в год столетия со дня рождения поэта. Читальню решили разместить недалеко от того места, где он родился. Отдельное здание строить не захотели, а попытались найти готовое помещение.
Сначала ля народной аудитории и библиотеки-читальни было нанято помещение на Немецкой улице в доме московской мещанки Е.А. Богачёвой (ныне улица Бауманская). Здесь 2 (15) мая 1900 года в присутствии родственников поэта состоялось торжественное открытие библиотеки. По окончании срока аренды в 1904 году было нанято другое помещение на Немецкой улице в доме А.Н. Занковского, но оно также мало удовлетворяло нуждам библиотеки-читальни, как и предыдущее.
Городская Управа принимает решение приобрести владение наследников Ф.Д. Мухина на Елоховской площади, которое было признано наиболее подходящим.
В 1912 году, согласно постановлению Московской Городской Думы от 1 ноября 1911 г. «городом приобретено владение наследников Ф.Д. Мухина, Басманной части 1 уч., под № 127-99, на Елоховской площади за 180 000 рублей для нужд городских и просветительных учреждений».
С осени 1912 года и по сей день библиотека располагается в этой усадьбе, признанной памятником истории и архитектуры федерального значения.
В 1937 году перед ним поставили памятник поэту работы В.Н. Домогацкого.
В 70-х годах прошлого века были проведены реставрационные работы. Библиотеке первоначально принадлежало только центральное здание усадьбы. В 1972–1973 в ведение библиотеки были переданы и остальные строения, до того времени отведённые под жилые помещения. Реставрационные работы 1970–1980-х годов вернули дому тот вид, который он, согласно описаниям, имел при Мамонтовых. Под многолетними слоями штукатурки и обоев на втором этаже обнаружились мраморные стены, были восстановлены двери, детали фигурной лепнины потолков, отреставрированы мраморные камины и чугунные лестницы. При восстановительных работах начала нынешнего века открылись полы на первом этаже, выложенные доломитом.
