Первым владельцем дворца был городской судья и уважаемый горожанин Матеуш Бутримович. Он был истинным патриотом своей родины, принимал активное участие в мелиорации болот и строительстве каналов, сделавших Пинск международным портом. Впоследствии дворцом Бутримовичей владели три именитых полесских рода: Бутримовичи, Орды и Скирмунты. Среди них были талантливые скульпторы, живописцы, писатели, историки. В XIX веке здесь жил и творил прославленный художник, музыкант, педагог, композитор Наполеон Орда. После смерти Матеуша Бутримовича дворец унаследовала его дочь Юзефина (умерла в 1859 году), бывшая замужем за Михаилом Ордой. Позже, как собственность их дочери Гортензии, жены Александра Скирмунта, дворец перешёл во владение семьи мужа. Гортензия, родная сестра художника Наполеона Орды, завещала дворец своей незамужней внучке, писательнице Констанции Скирмунт, дочери Хелены Скирмунт (1827—1874), известной в своё время художницы и скульптора.

Накануне Первой мировой войны здание принадлежало католической церкви и использовалось как резиденция епископа. Во время Первой мировой войны, в 1915 году, Пинск подвергся тотальной эвакуации при отступлении русских войск. Коллекции Бутримовичей были разграблены или вывезены в глубь Российской империи, где их следы затерялись. Частично былая роскошь Пинского дворца была восстановлена в 1920-е годы его последней хозяйкой Гортензией Скирмунт, но после её смерти в 1933 году здание перешло государству.

После освобождения Пинска от немецко-фашистских войск в июле 1944 года во дворце разместилась типография, позже — кинотеатр «Пионер». Затем на долгие годы здание стало городским Домом пионеров. С 2009 г. здесь ЗАГС.