Родился 21 августа (по новому стилю - 2 сентября), по другим данным - 15 сентября 1901 года в городе Дмитрове (ныне – Московская область). Отец работал чернорабочим, грузчиком, продавцом, мать вела домашнее хозяйство. Сергей Сергеевич Варенцов был старшим среди выживших пятерых детей. Он окончил Дмитровское высшее городское начальное училище и курсы бухгалтеров, после чего работал счетоводом.
10 марта 1919 года Варенцов, уйдя из родительского дома, добровольцем поступил на службу в Рабоче-Крестьянскую Красную Армию. Начинал службу красноармейцем перевязочного взвода 5-го Курского революционного полка. Участвовал в боях с Добровольческой армией генерала А. И. Деникина, белоказачьими формированиями генерала К. К. Мамонтова.
Решением командования переболевший тифом Варенцов был направлен для прохождения дальнейшей службы в гарнизон Дмитрова. Здесь ему вскоре было предложено пройти обучение на красного командира. Выбрав артиллерийскую специальность, Варенцов поступил на Детскосельские командные курсы тяжёлой артиллерии. Будучи курсантом, в составе сводных курсантских бригад участвовал в подавлении Кронштадтского восстания.
После окончания курсов Варенцов служил на командных должностях в артиллерийских частях РККА. В 1926 году экстерном сдал экзамены за полный курс 1-й артиллерийской школы, а в 1930 году окончил Артиллерийские курсы усовершенствования командного состава. После ареста в 1937 году командира 41-го артиллерийского полка Сидорука Варенцов в течение двух лет исполнял его обязанности, а в марте 1939 года возглавил артиллерию 41-й стрелковой дивизии.
С ноября 1940 года служил заместителем начальника артиллерии 6-й армии Киевского особого военного округа (КОВО), а с марта 1941 года – начальником артиллерии 6-го стрелкового корпуса КОВО. В последней должности встретил начало Великой Отечественной войны.
В первые дни войны Варенцов участвовал в боях на Юго-Западном фронте подо Львовом. Его корпус, избежав окружения, с боями отошёл на восток. В конце августа 1941 года Варенцов был назначен на должность начальника артиллерии 40-й армии. Внёс большой вклад в укрепление боеспособности армейской артиллерии, сохранению и приведению в порядок материальной части. Под его руководством артиллерийские части успешно действовали во время сражений на реках Десна, Сейм и Тим, боёв на Курском и Белгородском направлениях в январе-феврале 1942 года, во время Воронежско-Ворошиловградской операции июня-июля 1942 года.
В сентябре 1942 года Варенцов был назначен начальником артиллерии 60-й армии, а в октябре того же года – командующим артиллерией Воронежского (с октября 1943 года – 1-го Украинского) фронта. Фронтовая артиллерия под его командованием внесла большой вклад в проведение всех операций фронта, в том числе: Среднедонской, Острогожско-Россошанской, Воронежско-Касторненской, Белгородско-Харьковской, Корсунь-Шевченковской, Карпатско-Дуклинской операций. Сам Варенцов уделял большое внимание усовершенствованию форм и способов применения артиллерии в ходе боевых действий, один из первых стал применять форму планирования огня артиллерии в виде массированного огня по заданным районам.
В сентябре 1944 года в результате случайного наезда советского танка на штабную машину Варенцов получил тяжёлые травмы. Вернувшись после излечения на фронт во второй половине января 1945 года, он активно участвовал в проведении Сандомирско-Силезской, Нижне-Силезской операций, Берлинской и Пражской операций.
10 июня 1945 года Варенцов был назначен командующим артиллерией Центральной группы войск. Участвовал в Параде Победы 24 июня 1945 года. С января 1947 года командовал артиллерией Прикарпатского военного округа. В 1951 году Варенцов окончил Высшие академические курсы при Военной академии Генерального штаба Вооружённых Сил СССР, после чего несколько месяцев командовал артиллерией Закавказского военного округа.
С января 1952 года Варенцов занимал должность начальника Главного артиллерийского управления, до мая 1953 года совмещал эту должность с должностью заместителя командующего артиллерией Советской Армии. В марте 1955 года ему было присвоено звание Маршала артиллерии, он стал командующим артиллерией Советской Армии. Варенцов внёс большой вклад в создание и становление Ракетных войск стратегического назначения, внедрение новых видов вооружения в артиллерийские и зенитно-артиллерийские части, одним из первых высказал идею появления в составе общевойсковых соединений и объединений ракетных войск. Под его руководством проводилось формирование первых частей оперативно-тактических и тактических ракет. Варенцов в течение нескольких лет лично руководил Государственной комиссией по приёму новых ракетных комплексов на вооружение, с его именем связан процесс оснащения частей Советской Армии новейшими видами вооружения: крылатыми ракетами, тактическими и оперативно-тактическими комплексами, противотанковых управляемых ракет и т. д.
С 1 января 1961 года должность Варенцова была переименована и стала именоваться как «командующий ракетными войсками и артиллерией сухопутных войск». 6 мая 1961 года ему было присвоено звание Главного маршала артиллерии. Уделял большое значение военной подготовке артиллерийских кадров. Под его инициативе на базе полигоне Капустин Яр был создан учебный ракетный центр для подготовки ракетных соединений к учениям, переподготовки офицерских кадров на новой ракетной технике. Выступал против расформирования наземных частей артиллерии – дивизий, бригад, пушечных артиллерийских полков, не раз обвинял руководство сухопутных войск в неспособности обеспечить соответствие армии современному уровню развития военной науки и техники.
Избирался кандидатом в члены ЦК КПСС, депутатом Верховного Совета СССР 6-го созыва, депутатом Верховного Совета РСФСР 4-го и 5-го созывов.
22 октября 1962 года сотрудниками КГБ СССР в Москве был арестован офицер советской военной разведки О. В. Пеньковский, работавший на разведывательные органы США и Великобритании, с которым Варенцов был хорошо знаком по временам Великой Отечественной войны.
12 марта 1963 года Варенцов, обвинённый в связях с Пеньковским, был смещён с должности командующего ракетными войсками и артиллерией сухопутных войск. В тот же день Указом Президиума Верховного Совета СССР он во внесудебном порядке был лишён звания Героя Советского Союза за «потерю политической бдительности и недостойные поступки». 13 марта 1963 года Варенцов был понижен в воинском звании до генерал-майора артиллерии и уволен в отставку. 21 июня 1963 года он был выведен из состава кандидатов в члены ЦК КПСС, а в августе 1963 года были досрочно прекращены его полномочия как депутата Верховного Совета СССР.
Помимо смещения Варенцова, следствием дела Пеньковского стало смещение с должности начальника Главного Разведывательного Управления Генерального штаба Вооружённых Сил СССР И. А. Серова, который также был понижен до звания генерал-майора и лишён звания Героя Советского Союза.
Варенцов умер 1 марта 1971 года от сердечной недостаточности. Несмотря на противодействие военного и партийного руководства, он был похоронен в колумбарии Новодевичьего кладбища Москвы (секция 129, место 4-2).
