Последние годы жизни Рудольф провел в Вене и Шпайере. С годами он становился все более набожным и сентиментальным. Страдая от артрита, король, ожидая скорой кончины, летом 1291 года отправился в Шпайер, место успокоения королей и императоров Франконского дома. Он мечтал быть похороненным в кафедральной императорской крипте: «Я хочу к другим, в Шпайер, где лежит много моих предшественников, которые также были королями. Сам к ним приеду на коне».