Триумфальные арки возникли в Древнем Риме, где предназначались для церемонии торжественного въезда победителя. Из сохранившихся римских триумфальных арок наиболее известны арка Тита (81 г.), арка Септимия Севера (205 г.; обе в Риме) и арка Траяна (то же, что «Золотые ворота»; Беневент, 114-117 гг.); из более поздних самая известная — арка Константина (Рим, 315 г.). Изображения триумфальных арок сохранились на многих медалях, отчеканенных в честь побед Августа, Нерона и других.
Идея сооружения в Москве Триумфальных ворот как памятника Победы в Отечественной войне 1812 года принадлежит императору Николаю I. В апреле 1826 года во время коронационных торжеств в Москве он высказал желание выстроить в первопрестольной столице Триумфальные ворота, подобные тем, какие возводились в то время в Петербурге: архитектор Василий Стасов возобновлял на новом месте у Нарвской заставы в долговечных материалах деревянную Триумфальную арку Джакомо Кваренги, сооруженную в 1814 году на Петергофской дороге. Составление проекта поручили крупнейшему на тот момент российскому архитектору Осипу Ивановичу Бове. Он разработал проект в том же году, однако решение о новой планировке парадной площади у главного въезда в Москву из Петербурга привело к необходимости переделки проекта.
Новый вариант, над которым Бове работал почти два года, был утверждён императором 26 апреля 1829 года. 17 августа того же года состоялась торжественная закладка арки в присутствии московского генерал-губернатора Дмитрия Голицына и митрополита Филарета. К моменту торжественной закладки в основание уже было забито 3000 свай, а фундамент ворот доведён до уровня земли. В фундамент ворот легла бронзовая закладная плита и горсть серебряных рублей чеканки 1829 года — «на счастье».
Для сооружения ворот был использован камень из разбираемого Самотечного канала и белый камень из села Татарово Московского уезда («татаровский „мрамор“») — им были облицованы стены арки. Колонны и скульптура — отливались из чугуна. Скульптурный декор арки выполнен скульпторами Иваном Петровичем Витали и Иваном Тимофеевичем Тимофеевым, работавшими по рисункам Осипа Бове.
Не следует путать Триумфальные ворота с триумфальными арками, воздвигаемыми в Москве с 1721 года по случаю различных знаменательных событий на Триумфальной площади, которая после сооружения Триумфальных ворот на площади Тверской заставы стала называться площадью Старых Триумфальных Ворот.
В 1899 году под аркой Триумфальных ворот прошёл первый в Москве электрический трамвай. Его линия протянулась от Страстной площади (ныне Пушкинская площадь) до Петровского парка. Кондуктор трамвая объявлял: «Тверская застава. Триумфальные ворота. Александровский вокзал».
В 1936 году, согласно концепции Генплана 1935 года, под руководством А. В. Щусева был разработан проект реконструкции площади. В июле-августе 1936 года арка была разобрана, причём бригада архитекторов провела тщательные обмеры, чертежи, зарисовки и фотографирование памятника. Детали ворот и часть скульптур была передана в Музей архитектуры на территории бывшего Донского монастыря. После окончания реконструкции площади планировалось восстановить арку на площади Белорусского вокзала, но сделано это не было. Чугунные колонны ворот несколько лет лежали на Миусской площади; во время Великой Отечественной войны все они, кроме одной, были переплавлены
В 1966—1968 годах по проекту коллектива архитекторов (И. П. Рубен, Г. Ф. Васильева, Д. Н. Кульчинский) под руководством архитектора-реставратора В. Я. Либсона копия Триумфальной арки была сооружена на новом месте — на Кутузовском проспекте рядом с музеем-панорамой «Бородинская битва». При сооружении ворот были использованы обмерные чертежи и зарисовки ворот 1936 года, а также авторская модель сооружения, хранившаяся в Музее архитектуры. Однако копия ворот отличается от оригинального сооружения. Так, в конструкциях стен, сводов и цоколя новых ворот вместо кирпича использовали железобетон, облицовку белым камнем заменили на крымский известняк сероватого оттенка и гранит, кордегардии (караульные помещения) и решётки не восстановили. Сохранявшиеся на территории бывшего Донского монастыря подлинные детали, статуи и чугунные рельефы использованы не были — более 150 скульптур отлили заново на Мытищинском заводе. По деталям единственной уцелевшей чугунной колонны на заводе «Станколит» отлили 12 новых.
Тексты на памятных досках при восстановлении ворот также изменили: со стороны Можайского шоссе поместили часть надписи с закладной доски 1829 года, а со стороны города — строки из приказа М. И. Кутузова от 21 декабря 1812 года, обращенного к русским воинам: «Славный год сей минул. Но не пройдут и не умолкнут содеянные в нем громкие дела и подвиги ваши; потомство сохранит их в памяти своей. Вы кровию своею спасли Отечество. Храбрые и победоносные войска! Каждый из вас есть спаситель Отечества. Россия приветствует вас сим именем».
Торжественное открытие ворот состоялось 6 ноября 1968 года.
