Гаспар де Гусман граф-герцог Оливарес (1587–1645) был младшим сыном в семье, которая, в свою очередь, являлась боковой ветвью могущественного и разветвленного рода Гусманов – герцогов Медина Сидония. Печально знаменитому флотоводцу, возглавлявшему поход «Непобедимой армады», он приходился троюродным братом. Детство Гаспар де Гусман провел в Италии, где его отец был вице-королем Сицилии, а затем Неаполя. В качестве младшего сына он предназначался к церковной карьере и потому получил прекрасное образование в университете Саламанки,