Со времени основания Серпухов был городом-крепостью, охранявшим южные рубежи Московии от многочисленных врагов. В городе проходили смотры русских войск, а недалеко от Серпухова разворачивались сражения с захватчиками.
Первым оборонительным сооружением Серпухова является Владычный монастырь, заложенный в 1360 году на правом берегу реки Нары. В 1374 году был заложен Высоцкий монастырь по левому берегу Нары. Строили его со стенами, башнями и бойницами. В том же 1374 году на высоком холме при слиянии речки Серпейки с Нарой был выстроен кремль. Дубовый кремль простоял до 1556 года, затем по приказу Ивана Грозного деревянные укрепления заменили на каменные, повторив конфигурацию первого кремля.
В 1380 году серпуховская рать во главе с основателем города князем Владимиром Андреевичем Храбрым участвовала в Куликовской битве в составе засадного полка, решившего исход боя в пользу русских.
В 1382 году Серпухов был разорен ханом Золотой Орды Тохтамышем, в XV веке был дважды захвачен: ордынским военачальником Едигеем в 1408 году и литовским князем Свидригайло в 1409 году.
В конце XV века начались постоянные набеги крымских татар на Московское государство. Важнейшими оборонными пунктами стали укрепления на отрезке Таруса – Серпухов – Кашира – Коломна. Вокруг Серпухова шли военные действия. Поход Мехмеда I Гирея в 1521 году привел к разорению Серпухова и других городов центральных уездов государства, и было принято решение о строительстве каменных крепостей на южных границах. В 1556 году Иван IV Васильевич Грозный провел в Серпухове большой смотр своих военных сил и повелел для укрепления города заменить деревянную крепость на Соборной горе на каменную. Это повысило роль города в оборонительной системе, и с 1572 года в нем разместился Большой полк русской армии.
В 1598 году Борис Годунов предпринял поход «за светлые божие церкви и за православное христианство» и «разослал по всей стране указы, чтобы готовились к войне с татарами и войска собирались к Серпухову». Военный лагерь был огромен – на сорок верст по Оке, вверх и вниз от Серпухова. По преданию, там, где стоял шатер Бориса Годунова, возникла потом деревня Борисово. В память об избавлении от татар Владычный монастырь получил щедрые пожертвования от царя.
Летом 1607 года царь Василий Шуйский выступил в поход из Москвы на Тулу, чтобы окончательно подавить восстание под предводительством Ивана Болотникова. Серпухов стал местом сосредоточения правительственных войск, которые стояли в городе две недели. Между Серпуховом и Каширой состоялось сражение, в котором восставшие потерпели поражение. В память о своей победе Василий Шуйский построил во Владычном монастыре соборный придел в честь царевича Дмитрия.
В течение XVII века Серпухов еще был важного военного центра, а в XVIII веке жизнь города становится мирной. Сражения Отечественной войны 1812 года не затронули Серпухов, но город производил полотно для нужд армии и таким образом участвовал в обороне страны.
Во время Гражданской войны, с сентября по декабрь 1919 года, в Серпухове находился штаб Южного фронта, которым руководил Иосиф Виссарионович Сталин. Он жил в одной из комнат бывшего купеческого особняка фабрикантов Мараевых, нынешнем здании Серпуховского историко-художественного музея. Именно здесь 19 ноября 1919 года И.В. Сталин подписал приказ о создании 1-й конной Армии и назначении Семена Михайловича Буденного ее командующим. В последующие годы он несколько раз бывал гостем города. 17 апреля 1973 года ему первому было присвоено звание «Почетный гражданин города Серпухова». Именем Буденного названа одна из улиц Занарья.
В августе 1922 года в Серпухов перевели Московскую школу воздушного боя и бомбометания. Ее разместили в полуразрушенные строения закрытого в те времена Владычного монастыря. В середине 1920-х годов в школе инструктором работал советский летчик и военачальник, генерал-полковник авиации Михаил Михайлович Громов, совершивший беспосадочный полет длиной 12 411 км вокруг Европы. Самый известный его ученик – Валерий Павлович Чкалов, в 1923-1924 годах осваивал в Серпуховской высшей школе воздушного боя курс боевого применения авиации. В 1937 году он совершил первый беспосадочный перелет через Северный полюс из Москвы в Ванкувер.
В годы Великой Отечественной войны по мобилизации и добровольно ушли несколько тысяч серпуховичей. В октябре 1941 года фронт приблизился вплотную к городу. Позиции к западу от Серпухова занимала 49-я армия под командованием генерал-лейтенанта Игоря Григорьевича Захаркина, имя которого в настоящий момент носит одна из городских улиц.
Наиболее ожесточенные бои велись на линии Дракино – Кременки – Павловка. В конце ноября 1941 года наступление немецкой армии было остановлено. В середине ноября силами 1-го кавалерийского корпуса, 415-й стрелковой и 112-й танковой дивизий был нанесён контрудар. За подвиги на фронтах Великой Отечественной войны звание Героя Советского Союза получили тридцать серпуховичей.
28 апреля 2016 года Серпухову присвоили звание «Город воинской доблести».
