Ваня Пырьев появился на свет в крестьянской семье 4 (17) ноября 1901 года в деревне Камень Барнаульского уезда Томской губернии. Отца мальчик фактически не знал. Через три года после рождения сына Александр Пырьев ввязался в пьяную драку, в которой был убит.