Изначально Топкапы использовался султанами только для совещаний и официальных приемов. Жили монархи на площади Баязид – в небольшом дворце, построенном для Мехмеда II (сегодня на его месте находится Стамбульский университет). Со временем этот дворец получил название Эски-сарай (Старый дворец). Его также именовали Дворцом слёз – ибо туда после смерти очередного султана переезжал гарем покойного.