Выходцы из рода купцов Рябушинских, Толоконниковы были потомственными дворянами (что, естественно, было семейной тайной за семью печатями). Торговлей они никогда не занимались, несмотря на родство с гильдией Рябушинских. Отец Льва Сергеевича был кадровым офицером русской армии. По той же военной линии служили верой и правдой отечеству все мужчины в роду Толоконниковых. Генерал-полковник-инженер, вернувшись из Лондона, получил высокую должность заместителя начальника ГРУ ГШ и кресло руководителя Военно-дипломатической академии. Если бы не трагическая кончина в 1976 году, Лев Сергеевич непременно продолжал бы службу. В число его нереализованных проектов, кстати, входила книга о «русском следе» в «скандале века», материалы для которой он настойчиво готовил и незадолго до смерти показал Иванову.