В старину на месте, которое начиналось от нынешнего имения Пуртсе и, расширяясь, направлялось примерно на 900 метров в сторону моря, находилась священная гора древних эстонцев с рощей для отправления обрядов. Она была самым высоким местом в округе, и следы использования рощи в культовых целях относят еще к началу нашего летоисчисления. Возвышение на горе, которое, по-видимому, имеет искусственное происхождение, еще в прошлом веке называли "пригорком судей или старейшин", согласно преданиям, когда-то там находилась роща из тринадцати лип, где собирались на совет старейшины эстов. В западной части горы был жертвенный источник, где еще в начале 20 века приносили жертвы и молились. Сейчас там находится парк скорби по жертвам зла, основанный местным обществом Мементо. В Пуртсе также располагалось значительное укрепленное городище, датируемое периодом 800-1227 гг.
В исторических источниках в 1421 г. впервые упомянуто имение Пуртсе, где, возможно, были и какие-то укрепления, однако об их характере можно лишь строить предположения. Находящийся ныне укрепленный замок вассала XVI века в Пуртсе, который в исторических источниках известен под названием Изенхейм, Изенгоф, Алт-Изенхейм или Алт-Изенгоф, построен предположительно в 1533-1565 гг. и был связан с переходом поместья в руки дворянского рода Таубе. Является одним из позднейших средневековых замков на территории нынешней Эстонии.
Основатель каменного замка Пуртсе Якоб фон Таубе по преданиям считался чем-то вроде джентльмена удачи. Расположение укрепления было выбрано отнюдь не случайно: в те времена море было гораздо ближе, а рядом находилась удобная гавань. То же предание гласит, что якобы от замка в сторону моря был проложен подземный ход.
Каменный замок Изенгоф был построен в переходное время - между поздней готикой и преддверием периода Ренессанса. На эпоху Ренессанса, в частности, указывают относительно широкие оконные и дверные проемы. Несмотря на небольшие размеры сооружения - 12x15 м, толщина замковых стен достигает 1,5 м. Узкие окна-бойницы, мощные засовы, сторожевая башня предназначались для обороны жилища. Внутренние помещения имеют камины, резные каменные порталы дверей и потолки из толстых балок, расписанных орнаментом. Замок выполнял разные функции: был местом жительства феодальной семьи, защищал во времена военных походов, позднее использовался в качестве тюрьмы, ледника и склада зерна.
К восточной части замка был впоследствии добавлен открытый хозяйственный двор. Возможно, что к трехэтажному замку прилегала также деревянная жилая пристройка. Первый этаж основного здания был складским, второй – жилым, а третий оборонительным – т.н. «боевой этаж». На жилом этаже была одна большая комната с балочным потолком и две маленькие сводчатые комнаты. Общая площадь внутренних помещений малого замка Пуртсе достигала 390 кв.м.
Из-за Ливонской войны замок не был достроен, и позднейшие попытки завершить строительство заканчивались неудачами, из-за чего он получил прозвище "чертова замка". На протяжении своей истории поместье было несколько раз сожжено и заново построено.
До 1621 г. Пуртсе принадлежал роду фон Таубе. В конце 17 в. имением владели фон Флеминги. Во время Северной войны замок Пуртсе, находящийся у большой торговой и военной дороги, сильно пострадал. В 1731 г. голштинский генерал-майор, ландрат Отто Магнус фон Штакельберг (Stackelberg) купил господский дом и принадлежащие земли, которые находились в жалком состоянии, в фамильную собственность. Замок в течение нескольких веков оставался без верхнего оборонительного этажа, несколько раз перестраивался. Фон Штакельберги превратили Пуртсе в подсобную или хозяйственную мызу соседнего имения Пюсси.
Наиболее известным владельцем Изенгофа из рода Штакельбергов считается Густав Эрнст, граф Штакельберг (1766-1850), тайный советник и чрезвычайный посол. Густав Эрнст родился в Ревеле 5 июня 1766 г. Как лейтенант гвардии он принимал участие в 1788-1789 гг. в войнах против Швеции, выйдя в отставку, был назначен камер-юнкером российской императрицы, начав дипломатическую карьеру. На Венском конгрессе Густав помогал русскому министру Иностранных дел. Его основная задача состояла в объединении России и Польши. На 42-м году дипломатической карьеры получил орден Св. Андрея. Был владельцем имений Isenhof, Paggar, Aggimal, Pungern, Soldina, Paddas и Munkenhof.
Последним владельцем являлся Густав Эрнст Магнус Штакельберг, который проживал в замке до 1919 г. Имение Alt-Isenhof владело 8 095 гектарами земли к этому времени, когда было отчуждено государством.
После 2-й мировой войны от замка Пуртсе остались лишь руины, непригодные для хозяйствования. В 1950-е гг. после пожара замковые стены окончательно обрушились, к 1960-м годам представляя собой уже бесформенную груду камней, когда было принято решение о частичной реставрации замка.
8 апреля 1987 г. именно над территорией Пуртсе в советское воздушное пространство вошел самолет “Сессна-172”, пилотируемый немецким авантюристом Матиасом Рустом, после чего название места было растиражировано во всех источниках массовой информации. Было ли это стимулом для приведения данной территории в порядок, повлияло ли на ускорение вопроса о реставрации замка?
Как бы то ни было, замок был отреставрирован в 1987-1990 гг. К 1991 г. арендатор Райво Пихлак (Raivo Pihlak), вложивший свои средства в реставрацию замка, превратил его в одну из достопримечательностей местности Ида-Вирумаа. После реставрации замок получил заслуженную награду в конкурсе на «Лучшее строение в Эстонии». В ходе восстановительных работ оборонительный этаж и башня были построены в том виде, в котором они предположительно существовали раньше.
Огромные мощные деревянные балки не только держат, но и по-настоящему украшают замковый потолок. Поскольку деревья таких размеров очень трудно найти в Эстонии, это не может не вызывать удивления и восхищения реставрационными работами. В интерьере замка используются тыквы разного размера. По словам арендатора замка, некая женщина, работающая у него, умеет так высушивать тыквы, что они долгое время держат свою форму и являются настоящим украшением холодных каменных стен и помещений.
Внутри расположился местный культурный центр (проводятся художественные выставки и концерты, конференции и торжественные приемы), жилые комнаты отремонтированы и пока ничем выдающимся не украшены. Здесь устраиваются также коллективные мероприятия от свадеб до международных симпозиумов.
