Музей решено было расположить на высоком мысу острова, создав целый комплекс построек, включающий выставочные площади, конференц-зал, ресторан и гостиницу. Основная часть музея была построена в 1992–1995 гг., но идея архитектора заключалась в том, что здание музея современного искусства должно соответствовать новым формам самого искусства. Андо решил создать своеобразный перфоманс, который заключался бы в постоянном изменении музейного комплекса, его динамичном развитии во времени и пространстве. По словам Андо, даже после открытия музея работы по его созданию нельзя считать законченными. Архитектор планировал каждый год присоединять к комплексу по одной новой постройке. Следующим этапом стало строительство на холме за музеем отеля «Benesse House». Новые здания продолжают дополнять комплекс и по сей день.