Есть, как минимум, две легенды, объясняющие, откуда пошло название села. По одной из них конь Петра I в этом месте споткнулся о старый колодец, отметив тем самым место будущего поселения. По другой, село ранее называвшееся Бестужево было подарено Петром I Науму Акимовичу Сенявину, будущему первому русскому вице-адмиралу. Однажды конь спас Сенявина от стаи волков, вывез его к колодцу. Сопровождавший же Сенявина казак при этом погиб в схватке с матерым волком. С тех пор село называется Конь-Колодезь. Сенявин поставил на тракте памятник — пирамиду с конем на вершине. Михаил Юрьевич Лермонтов зная, что здесь раньше по этому тракту проезжал Пушкин, написал на пирамиде посвященное Александру Сергеевичу стихотворение. Из архитектурных свидетелей тех времен еще более –менее сохранилась усадьба флотоводцев Синявиных, построенная во второй четверти XVII века Алексеем Синявиным. Она представляла собой двухэтажное каменное здание, которое было выполнено в готико-стрельчатом стиле и окружено деревянными пристройками. С 1910-го до 1918 года в главном здании усадьбы флотоводцев Синявиных располагалась школа псаломщиков, с 1928 года до начала перестройки - агротехникум. Сейчас усадьба передана обратно церкви и в ней ведется реставрация.
Совсем недавно село официально обзавелось еще одной достопримечательностью, ее включили в реестр туристических достопримечательностей Липецкой области. Согласно исследованиям, проведенным учеными Воронежской лесотехнической академии, могучий мемориальный дуб в старинном парке усадьбы является самым старым из известных деревьев растущих на территории области. Возраст дуба составляет около 430 лет. Он помнит еще те времена, когда на берегах Дона по указу Ивана Грозного выставлялись сторожевые посты, охранявшие Русь от набегов кочевников; как вниз по реке плыли струги, строившиеся на верфях близ нынешней Лебедяни… Теперь к реликтовому дереву организуются экскурсии.
