Изначально был возведён трёхэтажный дом-крепость и башня, которую позже превратили в западный край замка. Уже к концу того же века замок расширили, так что он представлял из себя комплекс с внешним и внутренним двором, стены которого были высотой 14 метров и толщиной 2 метра.
В ходе последующего развития замка была возведена надвратная башня, функцией которой была охрана возведенного немного позднее лагерного двора и северо-западного угла форта.
За главной стеной старого дома-крепости возвели круглую орудийную башню. Одновременно со строительством орудийной башни была увеличена высота стены замка, а на северной стороне были построены два .
Задачей замка была защита порта, который был в то время морскими воротами Раквере
Строительство замка продолжалось два столетия. Во время Ливонской войны замок разрушили. Замок упомянут в , где русские в числе прочего отказываются от всех прав на несколько эстонских замков и их владений.
Позднее замок частично восстановили, и в начале XVII века он был лишь частично пригоден для использования.
Во время Северной войны замок окончательно превратился в руины и был заброшен
