Дед пошёл по военной линии, служил офицером в лейб-гвардии Семёновском полку. В какой-то момент якобы сошёл с ума или имитировал сумасшествие (ещё одно семейное лыко в строку), чтобы избежать наказания за взяточничество.
Отец, Яков Петрович Чаадаев, тоже служил в лейб-гвардии Семёновском полку, участвовал в шведской кампании, получил Георгиевский крест. К моменту рождения сына был отставным подполковником. Пробовал себя в литературе: в частности, написал под псевдонимом комедию, где высмеял управляющего экономии в Нижегородской губернии. Тот, прочтя комедию, в бешенстве скупил весь тираж.
Мать, Наталья Михайловна Щербатова, – дочь историка Михаила Михайловича Щербатова, также отслужившего своё в Семёновском полку. Щербатов – едва ли не первый в нашей традиции историк, который выразил некоторые сомнения в безусловном благе петровских реформ, заложивших основы российского западничества.
Род Чаадаева по материнской линии восходил к святому князю Михаилу Черниговскому.
В младенчестве Пётр был перевезён в родовое имение – село Хрипуново Ардатовского уезда Нижегородской губернии.
Отец умер, когда ребёнку не исполнилось и года, в 1795-м. В 1797 году умерла мать.