Основанное рядом в XVII веке село Писанец названо так по этой скале с «чудскими письменами». Первое упоминание села относится к 1645 году. Первыми жителями населенного пункта стали выходцы из Устюжинского уезда. В середине XIX века село было центром волости.
Над Писаным камнем стоят деревенские домики. Чуть дальше виднеется наиболее интересная постройка села Писанец – старинный купеческий дом.
Этот дом был построен в начале XX века богатейшим жителем села Е.Т. Упоровым. Есть легенды, что из подвала дома тайные подземные ходы вели к пещере Писаного камня, а то и вовсе на другой берег реки Ирбит. Но это лишь народные легенды… В 1930-е годы Упоров был раскулачен и отправлен в ссылку. Дом сначала был передан сельсовету, затем в нем открыли школу ликбеза.
К сожалению, сейчас дом заброшен и постепенно разрушается. Но и в таком виде постройка впечатляет. А рядом с домом растет огромный тополь в несколько охватов, которому тоже немало лет. Наверное, ровесник дома.
Сидя на оконном проеме старинного особняка и наблюдая за закатом солнца можно представить, как когда-то здесь кипела жизнь. Как благородные дамы и господа садились у окна и, потягивая ароматный чай, любовались бегущей внизу рекой Ирбит, заходившим за лес солнцем или гуляли по окружавшему дом саду…
По информации краеведа В.И. Воробьева в скальных выходах на противоположном берегу реки Ирбитки расположен почти прямоугольный вход в загадочную штольню длиной около 12 метров. Когда она появилась и для чего, неизвестно. По одной легенде в этой пещере якобы жил монах-отшельник, а по другой - скрывались беглые крестьяне.
