複旦大學博士研究成果登《自然》，破解裸眼3D技術

近日，上海人工智能實驗室與複旦大學聯合培養博士生馬煒傑，在《Nature》（《自然》）雜誌發表其曆時兩年打磨的裸眼3D技術研究成果——新一代裸眼3D顯示係統書生·瞳真EyeReal。該成果利用AI技術首次實現桌麵級顯示尺寸下超寬範圍的全視差裸眼3D顯示。

26歲的馬煒傑日前在接受澎湃科技專訪時形容自己是反常規的“掉隊”學生，但正是這樣的經曆給了他審視自我、辨識方向的契機，能夠沉下心來純粹做事。當肯下“笨功夫”的年輕人，紮根於鼓勵創新的科研“沃土”，一顆看似微小的科研種子，便有了生根發芽的底氣，最終結出《Nature》期刊上令人矚目的科研果實。



裸眼3D顯示。AI驅動實現眼睛到哪裏，信息就跟到哪裏。

AI助力“魚和熊掌”兼得

和VR/AR設備相比，裸眼3D技術徹底“去設備化”，更適合長時間舒適自然地觀看與交互。數字全息顯示可提供極高的視角和畫質，但不得不壓縮顯示尺寸至指甲蓋大小，而裸眼3D顯示則可以更大尺寸提供3D觀感。

但受限於物理光學中“空間帶寬積”這一極其有限的“光學信息預算”，馬煒傑介紹，傳統裸眼3D顯示技術隻能以靜態方式將有限信息量均勻分配至所有可視角度，難以兼顧大尺寸、寬角度和視覺連續性這個“不可能三角”，導致要麽犧牲尺寸，要麽犧牲視角，要麽犧牲連續性，三種方案都無法獲得舒適的3D觀感。

“在現有物理約束下，要實現大尺寸、寬角度和視覺連續性，就得利用AI實時優化。”為此，他提出一種動態最優利用有限信息預算的主動式解決方案，在不增加硬件成本的情況下，通過AI驅動引擎，將全部信息量實時聚焦於觀看者視線落點。深度學習算法在毫秒級時間內實時計算出人眼在每一個觀察方向的最佳顯示方案，實現眼睛到哪裏，信息就跟到哪裏。

該成果因此突破了既往技術中的權衡關係，讓大尺寸畫麵和超寬的自由連續觀看範圍可以共存。在完全兼容消費級液晶麵板、無需複雜光學元件或特製硬件情況下，實現了桌麵級顯示尺寸內超100度超寬視場角，包含水平、垂直等全部視差類型的實時三維顯示，也從根本上避免了傳統3D顯示常見的因瞳距失配而產生的眩暈不適感，做到“魚和熊掌”兼得。

EyeReal提供了一種更高效、自然的人機協同模式，有望加速科學發現進程。上海人工智能實驗室青年科學家白磊介紹，“EyeReal是一種光學信息運用全新範式，它不僅為全新的探索工具提供技術基礎，使科學研究者得以用更直觀、沉浸式的方式進行數據交互，從而實現更高效、更自然的人機協同；同時，通過探索提升光場信息利用效率的新路徑，可幫助大模型更精準地捕捉、理解和模擬現實世界中複雜的物理現象，從而推動AI4S大模型向真實物理世界的全麵融合邁進。”

此外，《Nature》稱，該技術亦有望在教育工具、虛擬現實等領域開拓創新應用。

“掉隊”學生的逆襲

“做這個課題是純粹的興趣驅動，換句話說，如果沒有這樣的出發點，我是堅持不下來的，因為這非常難。”從淘二手器件、擰每一顆螺絲，搭建出實驗原型，到打磨出最終的論文，馬煒傑心無旁騖地一頭紮進研究，一做就是兩年。

他形容自己是一個“反常規”的學生，喜歡嚐試新領域，不追求論文高產，始終關注探索人工智能賦能多元領域的應用可能。從早期在機器人領域奪得世界冠軍，到隨後將探索觸角延伸至智慧醫療與交通等多個應用場景，在加入上海人工智能實驗室聯培博士專項後，他開始主攻交叉綜合的裸眼3D顯示技術領域，有誌挑戰傳統難題。

有時候，一個領域的“不可能”是另一個領域的“常識”。正是這些多樣化的跨領域實踐，讓他構建了紮實的能力基礎、培養了他的“交叉思維”，進而想到了用AI計算主動管理信息預算的思路解決傳統裸眼3D顯示技術“不可能三角”這一難題。從0到1的研究意味著沒有現成路徑可循，研究者隻能硬著頭皮從頭探索。“當時實驗室的導師鼓勵我不要以論文為導向，專心做科研更有意義。導師還告訴我，在這條技術路線上，我就是一個先行者，沒有先例可以參考，實驗室可以為我提供支持，但落地必須靠自己。”

“許多優秀的同學在讀博之前就已經有很多論文加身了，而我走的路比較反常規，一直在探尋自己想要挑戰的方向，這一點上來看可以說已經 ‘掉隊’了。但也正因如此，我反而更能沉下心來，純粹地把事情做好。”兩年“真空期”裏，他隻做兩件事：革新技術、打磨結果。

“在AI圈子裏，一般有主結果出來一兩個月內就會形成一篇會議投稿文章，相比之下用一兩年時間去打磨一篇論文顯得天方夜譚。”盡管已經得出了定性結果，但若要將文章真正做紮實、做透徹，仍需持續投入時間深入打磨。AI領域熱點迭代頻繁，在追求“短平快”的學術氛圍中，盡快發表初步成果是多數人的選擇，但在他看來，紮實推敲的工作從不會缺價值認可的機會。



上海人工智能實驗室與複旦大學聯合培養博士生馬煒傑。

創新的土壤

馬煒傑於2024年加入上海人工智能實驗室聯培博士專項。據悉，上海人工智能實驗室於2022年正式啟動這一專項，依托高校培養優勢和實驗室世界級科研平台，讓優秀青年在頂尖科學家的指導下挑戰前沿難題、參與重大科研項目，目前已吸引近800名來自全國頂尖學府的優秀學子加入。

除了聯培博士專項，上海人工智能實驗室還創新性地提出“三梯合一”發展通道、“奧斯卡”式激勵等人才機製，鼓勵青年人才挑大梁、助力青年人才實現多維價值。這些不到30歲的青年科研人員已經是實驗室的中流砥柱，正以年輕人的活力和智慧成就人工智能年輕的事業。

同時，上海人工智能實驗室通過構建浦江科學社區，廣泛鏈接國內外優秀科研團隊和人才，鼓勵有誌於挑戰科學邊界的科學家發現問題、提出問題，並結合“AGI4S攀登者行動計劃”等扶持機製，讓突破性技術從實驗室走向更廣闊的世界舞台。

正是在這樣的環境下，“天才”的想法有了生根發芽、開花結果的機會。

談及未來，馬煒傑表示，“畢業後將繼續打磨裸眼3D顯示技術，進一步優化算法、提高顯示質量，並嚐試將其投入實際應用。”他期望未來的裸眼3D顯示能成為一扇“數字任意門”——關機時便是一塊普通的透明玻璃，一旦開啟就變成一個通往數字世界的深邃窗口，變革人機交互方式。“在這個窗口裏，無論是人還是物，都具備真實的體積感和光影，交互自然流暢，徹底模糊虛擬與現實的邊界。”