Село Козлятское (Воздвиженское) основано в 1636 году строителями Нижнего Ломова, недалеко от Козляцкого (Козего) брода при Ногайской дороге, шедшей из южных степей: вверх по реке Вороне – правому берегу реки Ломовки – через Козий брод – северо-западнее Н.-Ломова – на Каремшу и далее вниз по левому берегу реки Мокши к Наровчату. Этими дорогами степные кочевники совершали набеги на русские и мордовские селения. По обе стороны брода в 1635-1636 гг. построены два укрепленных города – В.Ломов и Н.Ломов. Куз латко (мордовское) – «еловый овраг». В 1678 году в селе 66 дворов пеших казаков, русских и татар, и солдат. В 1675 году построена первая церковь во имя Воздвижения Креста Господня.
Каменный храм построили по проекту пензенского архитектора Андрея Семеновича Федотова в1899 г. Это обширная кирпичная церковь, четырёхстолпный пятикупольный храм в псевдорусском стиле, купола завершены декоративными шатрами. Шатровая колокольня пристроена в 1911. Боковые приделы Владимирский и Митрофановский.
В1934 г. церковь закрыли, но уже в1945 г. вернули православным. С1978 г. настоятелем храма был архимандрит Алексий (Казаков, в схиме Серафим, 1933-1988), один из наиболее выдающихся пензенских пастырей второй половины ХХ в. Последнее освящение храма совершил епископ (будущий архиепископ) Пензенский и Саранский Серафим (Тихонов) в 80-х гг. С2013 г., по решению митрополита Вениамина, храм является скитом Нижнеломовского Казанского мужского монастыря.
Престольные праздники: Воздвижения Креста Господня - Сентябрь 27 [по н.с.] Святыни:Казанская икона Божией Матери; икона вмч. Пантелеимона; икона Божией Матери «Знамение».
