Здание арсенала было построено в 1470 году на месте бывшей средневековой синагоги Селесты и первоначально служило городским складом различных товаров, о чем свидетельствуют многочисленные слуховые окна на крыше (что касается синагоги, то сейчас в Селесте есть другая, красивая и современная синагога, выстроенная в XIX веке; см. карту города). В 1534 году, из-за недостатка места в старом арсенале Сент-Илэр, часть оружия стали хранить здесь. Отсюда и название арсенала, Sainte Barbe — то есть он назван в честь святой Варвары Илиопольской, покровительницы артиллеристов. В XIX веке здание снова стало использоваться по своему первоначальному назначению: в качестве склада зерна, табака, хмеля. Тогда же, в конце XIX - начале XX века, были расширены окна и добавлена монументальная двойная лестница в неоготическом стиле, ведущая к входной двери.

В 1901 году первый этаж был переоборудован в концертный зал, а затем в зал собраний. Второй этаж стал использоваться в качестве банкетного зала.
В настоящее время в здании также проводятся разного рода праздники, собрания, выставки и прочие подобные мероприятия.

Также в начале XX века немцы пристроили к южному фасаду здания балкон, который, однако, был ликвидирован в 1985 году