Посмотрели мы всю экспозицию во дворце и вышли во двор. Здесь у стен дворца расставлены так называемые «Баиловские камни» - каменные плиты с высеченными на них рельефными надписями и изображениями — остатки Сабаильского замка.
Замок этот был построен в 1234 году ширваншахом Фарибурзом III по проекту зодчего Зейнаддина ибн Абу Рашида Ширвани на одном из островов Баиловской бухты близ Баку. Впоследствии назывался Сабаильским замком, Шахри Саба, Шахри нау, подводным городом, караван-сараем, «Баиловскими камнями» и т.д. План сооружения имел вид сильно вытянутого с севера на юг неправильной формы четырёхугольника длиной 180 и шириной 40 м. Эта форма соответствовала очертаниям острова, возвышавшегося над морской водой, на котором целиком и находился замок.
Считается, что крепость была разрушена землетрясением.
О замке мало, что известно, поэтому он окутан легендами. До недавнего времени полностью находился под водой и отстоял от берега на расстоянии около 350 м. Каменные плиты прямоугольной формы размерами 70 на 25-50 сантиметров с рельефными изображениями обнаружены археологической экспедицией в 1939 году.
На плитах найденных на месте замка нанесены изображения животных, птиц, арабские буквы. Найдены портретные изображения людей. На одном из камней изображен сам Фарибурз III, который и возвел замок. Что достаточно необычно для государства, где религией являлся ислам, запрещающий изображать людей, животных и птиц. Наиболее ценные плиты выставлены внутри дворца Ширваншахов.
Сооружение с коническим куполом -это Мавзолей Сеида Яхья Бакуви, построенный приблизительно в 1457-1463 годах. Располагается в центре среднего двора .
В народе известен как мавзолей «дервиша» . Это место погребения Сейида Яхья Бакуви, который был ученым и астрологом при дворе ширваншаха Халилуллы I.
Мавзолей Сейида Яхьи Бакуви принадлежит к лучшим образцам мемориального строительства северных областей Азербайджана. Мавзолей небольшого размера, имеющий восьмиугольную призматическую форму и перекрыт коническим каменным куполом. Форма эта необычна для памятников Баку и Апшерона.
Такого рода сооружения встречаются за пределами Баку и частично в Шемахинском районе.
Мавзолей был пристроен к старой мечети, известной под названием мечети Кей-Кубада. Именно в этой мечети Сейида Яхья Бакуви работал, молился, преподавал. Мечеть эта была построена в годы правления ширваншаха Кей-Кубада в XIV веке и названа его именем. Но в 1918 году мечеть сгорела во время пожара, и в настоящее время от неё остался лишь фундамент.
Мавзолей разделяется на две части: надземную и подземную. Верхняя часть мавзолея служила для совершения культовых обрядов. Погребальный склеп находился в подвале под мавзолеем.
С июня по октябрь 2003 года за счет средств ЮНЕСКО проводились реставрационные работы. Внутренние и внешние покрытия были устланы камнем и были смонтированы новые деревянные двери. Орнаменты также были восстановлены. В нижнем этаже гробницы, где находился погребальный склеп Бакуви установлен символический надгробный камень.