Еще немного про личную жизнь Гаджи Тагиева. Первый раз он женился на своей двоюродной сестре по отцу Зейнаб-ханым, в браке с которой родилось трое детей: сыновья — Исмаил и Садых , а также дочь Ханум .
Вторым браком, заключённым в Дербенте в 1896 году, Г. З. Тагиев женился на дочери генерал-майора Балакиши бека Араблинского — Соне Араблинской (1881—1932). От этого брака у них были пятеро детей: два сына — Мамед, Ильяс, а также три дочери — Лейла, Сара и Сурая (1904—1975).
Семья Тагиевых музицирует у себя во дворец.
Жена Сона Тагиева окончила бакинское женское Заведение Св. Нины, владела русским и французским языками. После замужества стала членом попечительского совета Бакинского женского Александринского русско-мусульманского училища (первой в России светской школы для мусульманок), занималась благотворительностью. После смерти мужа осталась без средств к существованию и прожила последние годы в нищете, страдая душевным расстройством и прося подаяние на улицах Баку. В 1932 (или 1938) году рано утром бездыханное тело Соны Тагиевой с куском зажатого в руке хлеба обнаружили на тротуаре. Вдову миллионера похоронили на биби-эйбатском кладбище, однако два года спустя солдаты кладбище срыли и могила была утеряна.
Старший сын Исмаил был женат на сестре Соны Араблинской-Тагиевой.
Один из внуков Зейналабдин Тагиев был репрессирован и в 1940 г расстрелян.
Сын Мамед был офицером «Дикой дивизии». Весной 1918 года он погиб во время столкновения между мусульманскими и русско-армянскими частями в городе Ленкорань. Его тело для погребения доставили в Баку.
Сын Ильяс некоторое время жил в Москве, где был арестован в 1930-х и провёл год в тюрьме. В период заключения у Ильяса развилось психическое расстройство. В 1939 году он умер в психиатрической лечебнице в Баку.
Вторая дочь Лейла, выпускница Смольного института благородных девиц, стала супругой Али Асадуллаева, сына известного нефтепромышленника. В 1924 году она, забрав детей, тайно выехала морским путём в персидский порт Энзели, где её ждал муж, не вернувшийся в СССР из командировки, опасаясь заключения. Оттуда, из страха быть выданными советским властям, супруги бежали в Париж. По словам внучки Тагиева Сафии, весть о бегстве Лейлы из Баку стала смертельным ударом для Тагиева. Один из сыновей Лейлы и Али пропал без вести в Берлине, другой умер в Париже в результате несчастного случая, упав в реку. В годы Второй мировой войны Али Асадуллаев и его старший сын воевали против Красной Армии в составе РОА и погибли во время её разгрома в мае 1945. Лейла, жившая на тот момент с дочерью в Стамбуле, не перенеся утрат, покончила с собой, приняв смертельную дозу аспирина
Резной фриз украшен в том числе и вот таким гербом, является ли он гербом Тагиевых, не знаю.