Еще в 1799 году граф Александр Иванович женился на одной из богатейших невест России, княжне Елизавете Алексеевне Голицыной (1779–1835), дочери генерал-майора князя А. Б. Голицына. (Ее родная сестра, Мария Алексеевна, супруга графа П. А. Толстого, считалась глашатаем общественного мнения. Это ей посвящена финальная реплика Фамусова в «Горе от ума» А. С. Грибоедова: «Ах! Боже мой! Что станет говорить княгиня Марья Алексевна!».)