Отец Цунаёси, третий сёгун Иэмицу, умер, когда мальчику было пять лет, поэтому он его почти не помнил. Рядом с ним всегда находилась мать, к которой он испытывал чрезвычайную привязанность. Согласно семейной хронике, когда она болела, сын очень переживал и стремился быть рядом с ней; на этом основании некоторые историки говорят об эдиповом комплексе пятого сёгуна. Его мать Кэйсёин (1627–1705), очень набожная и добродетельная женщина, с детства окружила сына заботой и приобщала его к конфуцианским моральным ценностям.