Вокруг дома был парк, гроты, фонтаны.
Фасад переделали в 1850г., тогда появись кариатиды, и после этой даты особняк не перестраивался вот в таком виде и дошел до наших дней.
Семен Логвинович имел трех сыновей, унаследовавших семейное дело: Василия, Дмитрия и Семена. Они расширили семейное "ситцевое" дело, вышли на среднеазиатские рынки, занялись машиностроением, банковскими операциями, строительством. Текстильное производство принесло династии Лепешкиных всероссийскую славу. По техническому оснащению Вознесенская фабрика считалась одной из лучших в Центральном промышленном район. Немалая часть миллионных доходов тратилась на общественно полезные начинания.
Дмитрий Семенович (1828-1892г.г.) получил дворянство, возглавлял “Товарищество Вознесенской мануфактуры”, а с 1880-х годов имел банкирскую контору на Троицком подворье. Первая в Московской области железная дорога была построена на средства Дмитрия Лепешкина в районе Сергиева Посада.. Дмитрий Семенович Лепешкин организовал при Вознесенской мануфактуре образцовую больницу для рабочих и ясли для их детей. Он состоял попечителем Николаевского дома призрения вдов и сирот купеческого сословия. Дмитрий Семенович оставил 250 тыс. рублей на дела благотворительности, в том числе 63,5 тыс. рублей Московскому городскому общественному управлению на содержание 20 кроватей в Екатерининской богадельне, свыше 100 тыс. рублей Московскому купеческому обществу на стипендии в Мещанских училищах, на содержание коек в Андреевской богадельне и пособия бедным.
Другой сын Семена Лепешкина, Василий Семенович (1821-1860) по завещанию пожертвовал 18 тыс. рублей на пособия бедным, стипендии и содержание Андреевской богадельни. После его смерти вдова Варвара Яковлевна, ( дочь владельца Трехгорной мануфактуры Якова Прохорова), в 1887 г. основала на Пятницкой улице в соседнем с их усадьбой доме женское Варваринского профтехучилища для подготовки детских воспитательниц, белошвеек и кружевниц. Училище назвали по имени покойной дочери Варвары и в нем давали образование и специальность. Здание училища не сохранилось, как раз в него попала первая бомба, сброшенная на Москву в в 1941г. Варвара Яковлевна в 1880—90-х гг. была председателем попечительского совета убежища для слепых, учреждённого Обществом призрения слепых, а также почётный член Екатерининского благотворительного общества. По завещанию В.Я. Лепёшкиной здания училища и капитал на его содержание переданы городу.
По-прежнему заботились Лепешкины о благолепии храмов и монастырей (например о деревянной церкви Св.Тихона Задонского в Сокольниках). Им обязано вторым расцветом и подмосковное Валуево, бывшая блестящая усадьба Мусиных-Пушкиных.
Сын Василия Семеновича и Варвары Яковлевны – Семен Васильевич ( 1857-1913) возрасте 16 лет был отправлен на учебу в Дрезден, где жил в семье бывшего ректора Ришельевского лицея в Одессе Беккера. По окончании Высшего коммерческого училища в 1871 г. вернулся в Россию, где тоже стал известным предпринимателем, в начале ХХ века он возглавлял “Варваринское акционерное общество домовладельцев”, которое строило и содержало крупные доходные дома в центре города на улицах Варварке и Солянке. Он был одним из учредителей и директором московского Товарищества механических изделий.