Сергей Столяров родился 1 ноября 1911 года в деревне Беззубово Тульской губернии в семье лесника Дмитрия Столярова. У Сергея было еще три брата и сестренка. Жили они хоть и бедно, но дружно. Отца своего Сергей практически не помнил. В 1914 году началась Первая мировая война. Рекрутов набирали по жребию. Идти на фронт тогда выпало одному богатому крестьянину, но он обратился к своим землякам: мол, тот, кто пойдет на фронт вместо него, получит избу, лошадь и корову. Это было настоящее богатство, отказаться от которого было не всякому под силу. Вот отец Столярова и согласился на такую замену. Он ушел на фронт и был убит во время газовой атаки. Обещанное богатство его семья получила, однако радовалась ему недолго. Октябрьская революция все у них конфисковала. Семья Столяровых осталась без средств к существованию.