Дайте ему понять ясно: вам плохо (вы грустны, расстроены, раздражены) по своим внутренним причинам. Он не виноват в этом.