Дворец и окружающий его парк был заложен в 1838 году по проекту архитектора Ф. Ящолда. В строительстве дворца принимал участие В. Маркони. Во дворце было устроено 132 комнаты. Каждая из 12 башен замка символизирует месяц года. Наиболее урожайные - центральные четыре башни - это хлебные месяцы года: май, июнь, июль и август. Замок выстроен так, что каждый год два с половиной дня солнце освещает полностью одну комнату. Система внутренних проходов и окон позволяет проникать солнечным лучам в каждый уголок замка. По легендам, в «день комнаты» её убирали, наряжали и радовались солнечному дню именно в ней.
С дворцом Пусловских связано много преданий. По некоторым данным, в парадном зале был стеклянный пол, под которым плавали рыбки. Эта информация пока не нашла официального подтверждения. Ещё одна легенда гласит, что хозяева дворца держали «домашнего» льва, которого ночью выпускали гулять по замку в целях защиты от краж. Самый распространенный миф - наличие подземного хода между Коссовским дворцом и резиденцией Сапегов в Ружанах. Говорят, тоннель был шириной в карету и длиной 25 километров.
Дворец построил на собственные средства воевода Казимир Пусловский, но его внук проиграл дворец в карты.
