玄奘遷往玉華寺後,擺脫了俗務的幹擾,用了四年的功夫,譯完了秩冊浩繁的《大般若經》。他已覺身力衰竭,欲擱筆停譯。但在譯場諸師及僧眾的請求下,他勉強開始翻譯《大寶積經》,但始譯數行。便收拾梵本,向眾人說:“此經部頭和《大般若經》相同,我自量氣力,已不能勝任。”遂正式擱筆。自此病情日益沉重。官方派在譯場的檢校人,將玄奘的病情上報,朝廷立即派遣禦醫往治。
唐高宗麟德元年(664年)二月五日夜半,中國佛教的一代宗師玄奘逝世於玉華寺翻經院,終年六十五歲。令人奇異的是,當夜遠在長安的慈恩寺僧人明慧在夜半頌完經之後,繞佛堂行時,忽見天空有白虹四道,從北向南,直貫慈恩寺塔院。明慧感到很奇怪,他想:據稱如來去世時,有白虹十二道出於天際,這是大聖遷化的象征,今夜現觀白虹,莫非玄奘法師亡故了。次日他向眾僧說其所見所想,大家都警疑不止。過了兩三天,玄奘去世的消息就傳到京師了。
玉華寺遺址出土的玄奘造釋迦佛像座上的銘文唐高宗李治接到坊州刺史上奏玄奘去世的表章後,十分哀慟,他惋惜地說:“朕失國寶矣!”為之罷朝數日。下勅凡玄奘喪葬費用,都由官給。玉華寺譯場暫停,已翻成的經論。按原來規定抄寫傳播。未翻的梵本,都交由慈恩寺收藏,以防散佚。
遵照勅命,門人們將玄奘靈柩,運還京師,安置在慈恩寺翻經堂內。每日來致哀的僧俗士庶絡繹不絕。
玄奘初葬於長安城東郊的白鹿原上。安葬前,長安東市帛行,準備用繒采絲綢三千匹,結作涅槃,並飾以各色花佩,用以安載玄奘的靈柩,但玄奘的門人遵從玄奘的遺言,謝絕了這些鋪張的作法。而殯葬的儀仗,僅用素白色幢帳。據說當日來自五百裏內各州及長安的僧俗送葬者達百萬人,人們都悲切哀痛。當日露宿於玄奘墓所者即達三萬餘人。
白鹿原地勢高敞,離長安很近,唐高宗李治晚年身體不適,在宮中抬頭即可看見玄奘的墓塔,徒增悲切之情。故於總章二年(669年)勅將玄奘墓遷於樊川北原。即今日長安樊川興教寺內之玄奘靈塔。