Иерусалим оставался в руках повстанцев почти три года (132–135 гг.). Летом 135 г. римляне вновь захватили город, и декретом Адриана под страхом смертной казни был запрещен доступ в город всем, кто подвергся обрезанию.
Элия Капитолина, как и другие римские колонии, была построена по образцу римского военного лагеря (квадрат, внутри которого проводятся пересекающиеся под прямым углом улицы). С тех пор город не подвергался принципиальной перепланировке, так что общая схема и размеры нынешнего Старого города во многом совпадают с теми, что сложились при Адриане. На месте Храма было воздвигнуто святилище Юпитера, а там, где некогда находилась святая святых, была установлена конная статуя Адриана. В городе построены и другие языческие храмы (Венеры, Юпитера, Юноны и Минервы), сооружены две триумфальные арки и термы.
Элия Капитолина была небольшим провинциальным городом. В течение двух-трех веков здесь существовала христианская община и туда прибывали христианские паломники. Вообще еврейским паломникам позволялось посещать город, но не проживать в нем.
Когда в 324 г. император Константин I овладел Эрец-Исраэлем, Иерусалим приобрел христианский облик. На месте предполагаемого захоронения Иисуса была воздвигнута церковь Гроба Господня. Положение резко изменилось в правление Юлиана Отступника, который намеревался возвратить Иерусалим евреям и в 363 г. распорядился восстановить Храм. Однако случившееся вскоре землетрясение, а несколькими месяцами позже – смерть Юлиана привели к тому, что евреям снова запретили проживать в Иерусалиме. Лишь в 438 г. благодаря заступничеству императрицы Евдокии им было вновь разрешено проживать в городе, отстроенном и значительно расширенном в период ее правления.
В 614 г. персы под предводительством Хосрова II осадили Иерусалим. Взятие города сопровождалось кровавой резней и разрушением христианских святынь; патриарх был уведен в плен. Евреи видели в персах избавителей от насильственного обращения в христианство и поддерживали их. За помощь при взятии города персы передали Иерусалим евреям. Однако в 617 г. они передали власть христианскому большинству, казнив Нехемию и его приближенных.
Когда в 629 г. византийцы во главе с императором Ираклием вновь овладели Иерусалимом, они учинили беспощадную расправу над евреями и изгнали их из города.
В 638 г. патриарх Софроний сдал Иерусалим без боя стоявшему во главе арабских завоевателей халифу Омару ибн аль-Хоттабу. Халиф строит первую в Иерусалиме мечеть в том месте, где сейчас стоит мечеть Аль-Акса. Он же разрешает 70 еврейским семьям поселиться там, где сейчас находится Еврейский квартал Старого города.