В селе Верхлёве, где отец его был управляющим, Штольц вырос и воспитывался. С восьми лет он сидел с отцом за географической картой, разбирал по складам Гердера, Виланда, библейские стихи и подводил итоги безграмотным счетам крестьян, мещан и фабричных, а с матерью читал Священную историю, учил басни Крылова и разбирал по складам же «Телемака».