Ёсинобу удалился в крошечный городок Нумадзу на побережье залива Суруга (нынешняя префектура Сидзуока), где и провел остаток жизни, работая над усовершенствованием агрокультуры чая, охотясь на кабанов и упражняясь в фотографическом деле. Кроме того, он оказался плодовитым отцом – у него было десять сыновей и одиннадцать дочерей.