Однако четыре года спустя умер Сталин, и для Жарова наступили сложные годы: он угодил в немилость к новым правителям. По его же собственным словам: «В годы хрущевской оттепели нас окрестили как „любимцев сталинской эпохи“ и принялись изобличать: „ах вы, такие-сякие, жили – не тужили, с культом не боролись, хватали ордена, лицедействовали на сценах перед Сталиным!“ Я отвечал: „Да, Сталин дважды аплодировал лично мне стоя. Только и после того я в любой момент мог закончить жизнь сидя“».