Поселок Ершов возник в конце 19 века, а именно в 1893 году, когда проводили в Заволжье Рязано-Уральскую железную дорогу.
25.10.1894 года был открыт участок Покровск-Уральск. 28.08.1895 года вступила в строй ветка Ершов-Николаевск. Есть несколько версий по поводу происхождения названия города.Одна из них принята как основная и связана с фамилией инженера-железнодорожника, которому было поручено строительство жд линии от Мокроуса до Дергачей. Для строительства он нанимал работников, из окрестных поселений, которые, встречаясь в пути, веди примерно такой диалог:- Куда идешь? .- К Ершову! Постепенно все, что постепенно отстраивалось в этом месте, стали называть Ершовым.Вторая версия, не отличающаяся оригинальностью, и хотя бы небольшой степенью доказанности - город назван по фамилии помещика, некогда владевшего этой землей.Третья —модифицированная первая, источником названия вновь становится инженер и его фамилия, но не железнодорожник, а геолог, проводивший тут первые изыскания. Что именно изыскал инженер, и где находки, при этом неведомо.Четвертая версия предполагает, что в далекие времена в местных водоемах водилось множество ершей. И именно они составляли рацион рабочих, строивших железную дорогу. Теперь же пучеглазый ерш разместился на гербе города.
Едва ли найдется ещё в мире город, в котором бы одновременно начали свои боевые пути два будущих маршала, а Ершов является таким городом, так как в нем начали боевые действия в составе Красной Армии четырежды Герой Советского Союза, маршал Советского Союза Георгий Константинович Жуков и Герой Советского Союза, профессор, маршал авиации Степан Акимович Красовский. Маршалы Г. К. Жуков и С. А Красовский вошли в историю Ершова. Они не только его защищали, но и разнесли весть о нем по миру в своих книгах, которые изданы уже четырнадцать раз.
6 ноября 1996 года привокзальная площадь города Ершова называется "Площадь маршала Жукова", а в её центре установлена мемориальная доска в его честь.
В центре площади - скульптурная композиция погибшим в годы ВОВ жителям Ершовского района. Паровоз-памятник, установленный в сентябре 2013 года в 125-ю годовщину основания города и станции. Так же на площади находится памятник сотрудникам милиции, погибшим в годы войны.
