1204 году, когда Константинополь захватили крестоносцы, решив остановиться здесь и не пытаться спасти Святую землю от мусульман, Влахернский дворец был разграблен и разрушен. Латиняне оставались в городе до 1261 года, когда Палеологи вошли в Константинополь и заняли византийский трон.