Однако Си не винил коммунистическую партию в своих бедах. Скорее, как и другие руководители первой волны, возглавившие Китай при Мао, он считал себя законным наследником коммунистической династии своих родителей. Он научился с подозрением относиться к популистам и возмутителям спокойствия, молодым «культурным революционерам», опрокидывающим иерархию и разрушающим устоявшиеся порядки, разжигая хаос. Идеалом статус-кво для Си был своего рода послушный патриотизм. Согласно сообщению, слитому из дипломатической переписки с осведомленным сотрудником американского посольства в Пекине, будучи прагматиком, Си решил быть «краснее красного», чтобы пережить трудные времена.
Он переехал в небольшую деревню, где жил в пещере и работал в местной администрации. В этот период (точный день остался неизвестен) с собой покончила его сестра. Си семь раз отказывали в приеме в коммунистическую партию; одобрили его заявку в 1974 году лишь после того, как он сумел подружиться с партийным чиновником.