Дворец был возведён на месте более старой постройки XVI века, она присутствует на плане Москвы 1626 года. Исследователи полагают, что ещё до постройки нового дворца старые палаты принадлежали князьям Троекуровым, и вероятно именно при них в середине XVII века здание было полностью перестроено. Новый трёхэтажный дворец стал одним из самых больших в Москве, первые два этажа были каменными, третий деревянным. В 1680 году в доме случился пожар, верхний деревянный терем был уничтожен. В 1691 году была завершена реконструкция дома, сгоревший парадный этаж был заменён каменным, по периметру крыши был сделан парапет, пол вымощен белым камнем, таким образом образуя открытую террасу — гульбище, центр крыши венчала деревянная светлица. К этому времени относится первое документальное упоминание дворца: в подарок на новоселье боярин Иван Борисович Троекуров получил от царя 40 соболей.

Напротив палат Троекурова располагался ещё один дворец — палаты боярина Василия Васильевича Голицына. По мнению Гиляровского такое расположение усадеб влиятельных хозяев отражало их борьбу на политической арене. Впрочем годы строительства палат и политической активности их владельцев эту идею опровергают. Голицынский дворец был построен к 1689 году, в том же году Пётр I сверг царевну Софью, после чего Голицын был отправлен в ссылку. Карьера же Троекурова наоборот пошла вверх только после воцарения Петра I.

В советское время, несмотря на протесты искусствоведов, палаты Голицына были снесены, равно как и располагавшаяся рядом церковь Параскевы Пятницы. На освободившемся месте было построено здание Совета Труда и Обороны. Палаты Троекуровых тем не менее уцелели, их использовали в качестве жилого дома. Так в 1956 году там проживало 268 человек (89 семей). Во второй половине 1950-х годов была начата реставрация дворца под руководством архитектора Гали Владимировны Алфёровой. Во время работ был восстановлен кирпичный декор фасадов и интерьеров палат.

В начале XVIII века палатами владел «провинцал-фискал» Григорий Арасланов. Согласно купчей, Арасланов «лета 1729 марта в 4 день… продал лейб-гвардии капитану лейтенанту князь Федору княж Петрова сыну Сонцова Засекина московский свой двор в Белом городе на Никитской Болшой улице на белой земле в приходе церкви Вознесения Господня… а на том дворе ево все каменное строение с сводами железными и з железными затворами и з дверми… А взял Григорий у него князь Федора за тот двор и за всякое строение денег 1300 рублев».

В 1806 году И. П. Шнур перпендикулярно пристроил к палатам новое строение, выходящее на Большую Никитскую. В 1860-х годах большая часть декора палат была утрачена, сохранились только арки первого этажа. Перед 1914 годом здание собирались сломать и разместить на этом месте шестиэтажный жилой дом, спроектированный архитектором И. Г. Кондратенко. Однако началась Первая мировая война, и эти планы не были реализованы.

К концу XX века здание в Брюсовом переулке ничем не выделялось из окружающей застройки. В 1990-х годах к одному из праздников здание решили покрасить. После снятие штукатурки были обнаружены фронтоны наличников палат. Тогда было принято решение провести полноценную реставрацию с восстановлением первоначального облика здания. После её окончания фасад здания был восстановлен

С начала XVII века на месте усадебного дома стояли каменные одноэтажные палаты. По состоянию на 1686 год они принадлежали княгине Анне Никифоровне Лобановой-Ростовской. В первой четверти XVIII века земельным участком владел президент Военной коллегии Василий Долгоруков. В 1729-м он передал подворье как свадебный подарок своей племяннице Анастасии Михайловне, вышедшей замуж за графа Александра Брюса. После его смерти в 1752 году владельцем усадьбы стал его сын генерал-аншеф Яков Брюс

Вид на усадьбу со стороны Большой Никитской загораживает жилой дом, построенный в 1925 году. Здание было построено в 1776-1778 годах предположительно архитектором М. Ф. Казаковым. Строительство усадьбы осуществлялось в несколько этапов. В 1778 году было возведено трёхэтажное здание усадьбы на основе цоколя каменных палат, которые строились в 1757 году при прежнем владельце -  генерале Ф. В. Наумове. Немного позже у дома появились два флигеля. В 1790-м году главный фасад здания украсил ионический пилястровый портик, а сама усадьба была архитектурно оформлена в стиле классицизма. Но до наших дней дошел сохранился только главный дом с одним флигелем и тот облик, который придали усадьбе в 1840-х годах.