公元前539年，巴比倫王國被波斯人(Persian)所滅。波斯的國王居魯士(Cyrus the Great)對被占領土上的百姓采取寬容政策。攻占巴比倫的第二年，居魯士頒布旨令，允許被擄的猶太人回到故土。這裏已經成為波斯帝國的行省猶大地(Judea)。在此之後的二百多年裏，流落他鄉的猶太人陸續回到猶大地，聖殿（第二聖殿）和耶路撒冷的城牆得以重建，聖城漸漸興旺起來。在寬鬆政策下，波斯對猶大地隻是行使名義上的統治，猶太人的實際事務由大祭司全權負責。大祭司因而成為猶太人真正的統治者。最著名的大祭司是以斯拉(Ezra)。以斯拉根據先知們在流亡期間的思索和議論，把希伯來聖經中的前五個章節，也就是《托拉》(Torah)，加以整理、編輯，並將托拉在百姓中誦讀、宣講，使處於一盤散沙狀態的猶太人再次凝聚起來。托拉成為猶太人生活中的寶典和戒律。自摩西受誡，猶太人奉上帝為唯一的神，相信自己和上帝立下了契約，是上帝的特選子民。流亡期間，先知們在猶太教義裏加入了救世主的理念，相信當世界末日來臨的時候，救世主彌賽亞(Messiah)會來到世上解救人類。經過先知們在流亡巴比倫和回歸猶大地的歲月裏對猶太教義的提煉和完善，猶太教逐漸形成了一整套的思想體係。
公元前330年，波斯被馬其頓王國(Macedonia)所滅。馬其頓的國王亞曆山大大帝(Alexander the Great)將馬其頓的疆域從地中海的希臘地區一直延伸到印度河流域，使地中海的希臘文化得以向東傳播，開啟了將近兩個世紀的希臘化(Hellenization)時代。希臘化時代始於公元前323年。這一年亞曆山大逝世，他的部下形成了軍閥割據的局麵。其中最有實力的托勒密(Ptolemy)在埃及自立為王，把勢力範圍擴展到了猶大地。由於托勒密和他的繼任者們對各民族采取寬鬆開放的政策，猶太人享受了一百多年的太平日子。公元前195年，塞琉古王國(Seleucid)打敗托勒密王國，成為猶大地的統治者。塞琉古的國王安條克四世對猶太教采取打壓政策，洗劫並關閉了聖殿，焚燒了猶太教的典籍，同時宣布猶太教為非法。為反抗暴政，猶大地爆發了由猶太祭司瑪他提亞和他的兒子馬卡比領導的起義。起義軍攻克了耶路撒冷並整修了聖殿。經過數年艱苦卓絕的鬥爭，猶太人終於在公元前143年擺脫了塞琉古的統治，建立了獨立的哈斯摩尼王朝(Hasmonean Dynasty)。哈斯摩尼王朝一直持續到公元前63年，最後被羅馬共和國所滅。公元前37年，由羅馬元老院委派，大希律王(Herod the Great)成了羅馬帝國猶大地行省的代理王。
在位的34年間，大希律王大興土木，擴建了耶路撒冷的第二聖殿，並修建了一大批紀念碑式的建築，包括著名的馬薩德城堡。希律王之後，羅馬逐漸將猶大地變成了羅馬直接管轄的行省。羅馬的殘酷剝削使猶大地成為羅馬帝國最窮的省份。麵對暴政，猶太人屢次鬥爭，先後舉行了兩次大起義，史上被稱為兩次猶太戰爭。兩次猶太戰爭都以猶太人的失敗告終。戰爭期間，巴勒斯坦的幾十個要塞和城市化為焦土，耶路撒冷遭到羅馬軍隊的瘋狂的洗劫和毀壞，第二聖殿（第一聖殿毀於巴比倫的入侵）的大部被毀，隻剩下了一段不到五十米的西牆（又稱哭牆，保持至今，是猶太人心目中最神聖的地方）。戰爭中一百五十多萬猶太人遭到血腥屠殺，十幾萬人被俘虜後賣到羅馬為奴。為了徹底將猶太人趕出耶路撒冷，公元135年，羅馬皇帝哈德良下令在聖殿廢墟上建了一座新城，並遷移猶太人以外的外族人前來居住，唯獨禁止猶太人進入新城。坍塌的聖殿從此再未重建，行省的名稱也由猶大地改為敘利亞-巴勒斯坦。公元一、二世紀的這兩次猶太戰爭終結了猶太民族作為一個主體民族在巴勒斯坦定居和生活的曆史。從此之後，猶太人被迫離開故土，開始了長達一千八百年的民族大流散。
