公元70年，一次反抗罗马的起义失败后，罗马军队拆毁了圣殿。犹太人再次起义，最后在135年，罗马皇帝哈德良派兵包围并夺取了该市，作为惩罚措施，他下令在希伯来历埃波月九日，即耶路撒冷遭巴比伦和罗马军兵两次攻陷的周年记念日，将耶路撒冷彻底铲平，在原址新建罗马城市爱利亚加比多连，圣殿山上另建罗马神庙，同时将所有犹太人赶出巴勒斯坦，禁止犹太人在耶路撒冷居住。
此后的5个世纪中，该市一直在罗马帝国和拜占庭帝国的统治之下。4世纪，罗马帝国皇帝君士坦丁一世控制该市期间，耶路撒冷变成了一个基督教中心，建造了圣墓教堂。
当时，虽然仍然禁止犹太人居住耶路撒冷，但他们已经开始在每年的埃波月九日来到西墙前哭泣。在罗马帝国分裂后的拜占庭帝国统治下，这座城市在基督教势力中得到了很好的保护。当时在宗教方面相对宽容，从5世纪开始，犹太人重新被允许住在耶路撒冷。
当来自半岛的游牧民族崛起之后，阿拉伯帝国的第一个征服目标就是耶路撒冷。虽然《古兰经》中从未提到过耶路撒冷，但伊斯兰传统认为，先知穆罕默德是在耶路撒冷升天，接受《古兰经》的。
已经走向衰落的拜占庭帝国，没能挡住阿拉伯的铁骑弯刀，这座圣城最终沦于阿拉伯人的手中。
在历史上，关于耶路撒冷的争夺，从来都没有停止过，这座城市，也成为东西方碰撞的焦点。
历史上的公元1099年，第一次十字军东征，包围了耶路撒冷，一个多月后，耶路撒冷被十字军攻占，十字军进城后，屠杀了城内大多数穆斯林和犹太人。十字军在这里建立了耶路撒冷王国，穆斯林不准入城。
但是在公元1187年，埃及穆斯林君主萨拉丁又重新占领了耶路撒冷。1219年，大马士革的苏丹下令将城墙销毁，1228年，神圣罗马帝国皇帝腓特烈二世组织了第六次十字军东征，通过与埃及签定条约，得到耶路撒冷。1239年，他开始重建城墙，但不久它们又被拆毁。1243年，基督徒再次占领耶路撒冷，又重建城墙。1244年，被蒙古亡国的花剌子模在逃亡途中占领耶路撒冷，教皇英诺森四世发动第七次十字军，但无法夺回耶路撒冷。1247年，花剌子模被埃及人驱逐，1260年，埃及奴隶骑兵夺取该城，耶路撒冷的犹太人不得不逃到周围的村庄避难。1482年，一个来此访问的多明我会教士说耶路撒冷是一个“几个不同的民族生活在此的城市，它是所有罪恶的集合”。作为罪恶他列举了撒拉逊人、希腊人、叙利亚人、东正教徒、景教徒、亚美尼亚人、格鲁吉亚人、玛洛尼教徒、贝督因人、刺客、回教徒和“最可憎的”犹太人。只有罗马天主教徒“在他们心中盼望基督王子的到来，来将所有的国家纳入罗马教会的统治下。”
1517年，奥斯曼帝国占领耶路撒冷，他们控制该市，直到20世纪。这时，耶路撒冷重新开始繁荣，城墙和老城也被重建，城内任何宗教都可以存在，但奥斯曼帝国后来的无能统治机构使耶路撒冷的经济陷入了缓慢的衰退。
到19世纪初，耶路撒冷只有不足8000人口，但依然是一个对犹太教、基督教和伊斯兰教都很重要的城市。城市居民分四个部分：犹太人、基督徒、穆斯林和亚美尼亚人，穆斯林主要住在圣殿山附近，基督徒主要住在圣墓教堂附近，犹太人主要住在哭墙上方的山坡上，亚美尼亚人主要住在西南。
虽然这个分化并不绝对，但后来它是英国管理时期将城市分为四个区的基础。各大宗教内部又包括了许多教派，比如圣墓教堂同时归希腊东正教、罗马天主教、亚美尼亚教会、埃及教会和埃塞俄比亚教会使用，各教派之间互相冲突，以至于圣坛的钥匙要交给一个“中立的”穆斯林家庭保管。
由于耶路撒冷对于犹太人、穆斯林和基督徒均具有特殊的重要意义，其地位问题直到杜睿穿越大唐的时候仍然悬而未决。
