Алексей Дмитриевич родился 26 сентября 1905 года в селе Покровском Ростовского уезда Ярославской губернии в большой крестьянской семье. В 1923 году после окончания средней школы он поступил в Петроградский государственный художественный техникум на отделение монументальной живописи.
В 1927 по 1930 гг. А. Д. Варганов учился в институте истории искусств в Ленинграде, специализируясь у профессора К.К. Романова по культуре и искусству древней Руси и у профессора М.В. Фармаковского по теории и практике реставрации и археологии.
С 1930 года жизнь и деятельность А. Д. Варганова неразрывно связана с изучением и восстановлением художественных сокровищ древнего Суздаля и Владимирской земли.
В 1938 г. А. Д. Варганов совместно с А. Ф. Дубининым вел археологические раскопки у стен Рождественского собора, в ходе которых были выявлены остатки древнейшего в Суздале храма времен Владимира Мономаха; внутри храма были раскрыты фрески XIII в. По проектам Варганова и под его руководством выполнен ряд практических работ: реставрированы Святые ворота Покровского монастыря с Благовещенской надвратной церковью XVI в. (1958), Знаменская церковь XVIII в. (1959) и др.
Многие годы Варганов отдал изучению и реставрации Суздальского Архиерейского дома XV-XVIII вв. По его проекту в доме был восстановлен величественный свод Крестовой палаты XVIII в. (1969-1970, инж. А. В. Пластинин). За этот проект А. Д. Варганову присвоено звание заслуженного деятеля искусств РСФСР.
Варганов вел также реставрационные работы в Михайло-Архангельском монастыре г. Юрьев-Польского и других городах области.
Алексей Дмитриевич Варганов был первым директором объединенного Владимиро-Суздальского музея-заповедника, образованного в 1958 году. В 1960-м его на этом посту сменила Алиса Ивановна Аксенова. Тогда Варганов стал главным архитектором Владимирской реставрации. Но вскоре и с этой должности его перевели в научные сотрудники.
А. Д. Варгановым написано и опубликовано около 40 работ, большинство из которых посвящено истории, археологии и реставрации дорогого его сердцу Суздаля. На протяжении 20 лет земляки избирали его депутатом Суздальского городского совета.
Варганова по праву считают одним из основоположников Владимирской школы реставрации.
В 1972 г. он был награжден орденом Ленина, а в 1974 г. стал первым почетным гражданином г. Суздаля.
Скончался А. Д. Варганов 2 февраля 1977 г. Его именем названа улица в Суздале, а экспозиция в Кремлевском дворе отражает не только этапы возрождения города, но и жизненный подвиг первого почетного гражданина.