Со второй половины XIX века усадьбой владел баронский род Боде-Колычёвых. В середине 1850-х годов в доме барона жили вдова А. С. Грибоедова Н. А. Чавчавадзе и её сестра, правительница Мегрелии Е. А. Чавчавадзе. При М. Л. Боде-Колычёве двор усадьбы получил современную замкнутую композицию. В 1859 году к восточному торцу главного дома была пристроена домовая церковь, в которой в 1866 году венчался И. С. Аксаков с А. Ф. Тютчевой. По отзывам современников, усадьба Боде-Колычёва представляла собой «музей средневековых достопримечательностей», среди которых особую ценность представляли картинная галерея и коллекция оружия. После кончины М. Л. Боде-Колычёва усадьбу унаследовала его дочь Наталья Михайловна, которая была замужем за художником Ф. Л. Соллогубом, в связи с чем нередко владение именуется «усадьба Соллогуба». Соллогубы владели усадьбой вплоть до октябрьской революции.
Существует мнение, что усадьба послужила прототипом имения Ростовых в романе Л. Н. Толстого «Война и мир», владение даже упоминается в литературе как «дом Ростовых». Традиция того, что усадьба является прообразом имения Ростовых, настолько сильна, что в советское время на фасадной стене главного дома была установлена соответствующая мемориальная доска.
Однако некоторыми исследователями и учёными эта литературная легенда опровергается.
После революции в усадьбе Соллогуба разместилась ВЧК, однако здания усадьбы оказались неудобны, и в конце марта 1918 года Комиссия переехала на Большую Лубянку. Позднее в усадьбе проживал с семьёй А. В. Луначарский, размещались Литкомиссия ВЦИК, Комитет по делам национальностей и ряд других учреждений. В 1920 году здесь открылся «Дворец искусств», в котором выступали А. А. Блок, С. А. Есенин, Б. Л. Пастернак, А. Н. Толстой, И. Г. Эренбург, М. И. Цветаева и другие литераторы. В 1921 году в усадьбе начал работу Высший литературно-художественный институт, основателем и ректором которого был поэт В. Я. Брюсов. В 1922—1923 годах в строениях бывшей усадьбы Соллогубов также находился Музей живописной культуры. В годы НЭПа домом владели частные лица, сдававшие квартиры жильцам внаём.] В 1932 году в усадьбе разместился Союз писателей СССР, который в разное время возглавляли Максим Горький, Александр Фадеев, Константин Федин и другие известные писатели. В 1933 году усадьба была национализирована. В 1940 году в усадьбе проходило прощание с писателем М. А. Булгаковым.
В 1956 году посреди парадного двора усадьбы был установлен памятник Л. Н. Толстому, дар писателей Украины писателям России в ознаменование 300-летия воссоединения Украины с Россией.
В 1950-е годы некоторые строения усадьбы продолжали оставаться жилыми: так, в подвале дома в это время жил начинающий поэт Роберт Рождественский. В 1960 году усадьба была отнесена к категории памятников архитектуры государственного значения. В настоящее время здание принадлежит Международному сообществу писательских союзов, а кроме писательских организаций, в зданиях усадьбы размещается редакция журнала «Дружба народов», а также несколько ресторанов.
Вот вид на кафе «Каретный двор» и высотку на Площади Восстания
