
該研究論文登上《自然—光子學》封麵
衍射光電智能計算體(ti) 係構架和理論方法在很大程度上解決(jue) 了領域內(nei) 困擾已久的難題,為(wei) 研發高性能光電智能處理器和芯片打開了更為(wei) 廣闊的空間,也為(wei) 促進該領域的發展及其產(chan) 業(ye) 落地做出了一定貢獻。
■本報記者 袁一雪
在過去的十年,電子驅動的計算處理器對人工智能(AI)發展產(chan) 生了巨大影響。但隨著技術的發展,電子硬件的性能即將觸摸到“天花板”,而隻有突破“天花板”才能讓人工智能發展更進一步。
能夠替代電子驅動計算處理器的光學計算處理器,一直為(wei) 研究人員所倚重。它不僅(jin) 能夠克服電子學的固有限製,還可以將能效、處理速度和計算吞吐量提高幾個(ge) 數量級。
目前,已經有研究人員利用光學計算的特性,構建專(zhuan) 用光學處理器,其在數據和信號處理方麵所表現出的性能遠遠超過現在的電子處理器。然而,現有的光學AI加速器隻能為(wei) 特定神經網絡體(ti) 係結構或特定任務定製單一功能。換言之,對於(yu) 不同任務的不同AI算法,現在的“設備”顯得有些“力不從(cong) 心”。不僅(jin) 如此,現有的光神經網絡模型複雜度和實驗性能水平較低,導致網絡性能(如分類精度)與(yu) 最先進的電子神經網絡相比存在較大差距。
近日,中國工程院院士戴瓊海團隊提出了一種光電可重構計算模式,針對光學網絡設計空間的靈活性有限、難以集成理想的非線性運算,以及難以靈活控製複雜的數據流等問題提出了新的解決(jue) 思路。
將AI加速處理器推向新高度
5月5日,這篇第一作者是清華大學博士研究生周天貺、通訊作者為(wei) 戴瓊海的論文登上《自然—光子學》期刊封麵。該論文作者之一、清華腦與(yu) 認知科學研究院及未來芯片技術高精尖創新中心特聘研究員林星在接受《中國科學報》采訪時表示,針對現有光學神經網絡模型複雜度低、可重構難以實現以及實驗性能不佳等難題的關(guan) 鍵原因,該團隊通過以下三方麵進行了突破:
首先,該團隊在空頻域開辟了衍射光學計算的新型光電計算構架。“衍射智能光計算構架,縮寫(xie) 為(wei) DPU,是基於(yu) 光學衍射的物理現象,通過構建大規模的光學相控陣列以實現高複雜度的光學互聯和神經網絡構架。其原理具備高度的可擴展性和集成潛力。”林星解釋道,“我們(men) 這次的研究工作通過采用高通量可編程的光電器件,融合光計算和電計算的互補性優(you) 勢,將其在構建人工智能加速處理器的應用推向了一個(ge) 新的高度。”
其次,這次提出的DPU充分利用了光的波粒二象性,神經網絡權重的調整通過控製光波傳(chuan) 播的波前分布來實現,采用光電效應實現人工神經元的功能,包括對衍射光場的線性加權求和以及非線性激活響應。林星解釋說,係統運行過程衍射光計算部分幾乎承擔所有計算操作,而采用高通量可編程的光電器件並結合電子計算的靈活特性,能夠實現高速數據調控及大規模網絡參數的編程和網絡結構的重構。此外,由於(yu) 光計算部分采用了三維光場傳(chuan) 播,避免了對圖像和視頻的向量化處理和尋址操作,從(cong) 而實現了視覺信息的高效處理。
最後,此次研究提出了一種自適應在線訓練方法來校正係統誤差累積,而這種自適應的訓練方法通過測量神經網絡內(nei) 部的狀態實現對計算參數的實時調整。因此,在不依賴網絡結構且不增加係統複雜度的情況下,該DPU能夠普適於(yu) 現有的光電智能計算係統。
“可以說我們(men) 這次研究工作所提出的衍射光電智能計算體(ti) 係構架和理論方法在很大程度上解決(jue) 了上述領域內(nei) 困擾已久的難題,通過構建原型係統及可擴展性分析驗證了光電智能計算的優(you) 越性和巨大潛力,為(wei) 研發高性能光電智能處理器和芯片打開了更為(wei) 廣闊的空間,也為(wei) 促進該領域的發展及其產(chan) 業(ye) 落地做出了一定貢獻。”林星補充道。
分類識別精度有所提升
取得這樣的成績並不容易。事實上,在研究之初,該團隊研究人員就已經對前路的崎嶇有著充足的心理準備。“我們(men) 的研究目標是要通過解決(jue) 光電智能計算領域中的難點問題,提高其在執行分類和識別等任務上的模型與(yu) 實驗精度。”林星回憶說。
起初,研究人員構建的全連接的網絡模型性能有限,也曾經受到係統不穩定的困擾。不過,解決(jue) 問題的過程就是團隊不斷創新的過程。團隊成員經過反複討論並調整光電神經網絡構架和超參數,最終創建了網絡中網絡模型。“我們(men) 的光電神經網絡在MNIST手寫(xie) 數據集和Fashion-MNIST時尚產(chan) 品數據集上的模型精度都超越了卷積神經網絡LeNet-4,並逼近LeNet-5。”林星表示。
而且,通過不斷進行的硬件係統優(you) 化,包括更換所采用的光電器件及其相應機械固定件設計等,以及開發自適應訓練算法,研究人員也提升了係統實驗的穩定性。
“此外,我們(men) 也花了大量的時間優(you) 化和升級光電器件的數據接口,以提升係統帶寬和數據調控速度,最終實現了高速的圖像和視頻的分類識別。”林星告訴記者,“運行同樣的神經網絡,光電計算係統與(yu) 特斯拉V100圖形處理器(GPU)相比,計算速度提高了8倍,係統能效提升超過1個(ge) 數量級,核心模塊計算能效則能夠提升4個(ge) 數量級。”
有望讓我國在新一輪科技變革中占得先機
“長期以來,我國在電子計算以及芯片領域受到高精度光刻機等製約,一直處於(yu) 落後位置。光電計算為(wei) 我國擺脫這一製約提供了可能。”戴瓊海告訴《中國科學報》,“光電智能計算與(yu) 芯片是一個(ge) 非常廣闊的前沿研究領域,這需要多學科的交叉融合。希望我們(men) 的研究工作能夠吸引國內(nei) 更多不同背景的科研人員和研究機構從(cong) 事這個(ge) 領域的研究,從(cong) 而推動我國在該領域學術圈乃至產(chan) 業(ye) 生態圈的建設。”
戴瓊海團隊抓住光學計算與(yu) 芯片發展的機遇,在其原理驗證和原型係統的構建等方麵率先展開了原創性的研究工作,所提出的計算範式將促進領域光電材料、光電器件、加工工藝以及集成方法的研發。
談及未來,戴瓊海與(yu) 林星皆表示,將進一步挖掘光電智能計算技術的潛力,致力於(yu) 解決(jue) 係統小型化和芯片集成的難點問題。“我們(men) 將使用超材料構建片上相控陣列實現原型係統的芯片集成,從(cong) 而更為(wei) 全麵地體(ti) 現光電智能計算的優(you) 越性。”戴瓊海說。
巴黎中央理工—高等電力學院教授Daniel Brunner與(yu) 瑞士聯邦理工學院洛桑分校教授Demetri Psaltis認為(wei) ,這項研究的準確性與(yu) 能源效率,都可以和競爭(zheng) 性數字NN基準測試模型以及現代GPU相媲美,並證明了光學解決(jue) 方案與(yu) 未來高性能計算的相關(guan) 性。“這項研究的非線性運算放大了數據表示的維數,最終使NN能夠挖掘出隱藏的特征,進而利用它們(men) 來進行具有挑戰性的計算。盡管其互連受到嚴(yan) 格限製,但是它們(men) 通過級聯多層實現了競爭(zheng) 性能。”
“這一工作屬於(yu) 我們(men) 研究路徑規劃中的階段性成果。我們(men) 預期最終集成化的光電智能芯片能夠實現光載海量信息的實時處理,將極大促進其在終端計算、邊緣端計算、數據中心的應用,推動自動駕駛、機器人技術領域的發展。其中,小型化的空間光智能光電計算係統可應用於(yu) 空間光通信,與(yu) 視覺成像係統融合實現光載視覺信息(包括高維光譜視覺信息及光場視覺信息)的實時處理。同時,集成化的光電智能計算係統還能夠和光纖通信融合,實現大規模光信息的高效處理,應用於(yu) 無線通信、雲(yun) 計算和數據中心等領域,從(cong) 而引領新一代智能產(chan) 業(ye) 和信息技術的變革。”林星展望道。
相關(guan) 論文信息:https://doi.org/10.1038/s41566-021-00796-w
《中國科學報》 (2021-05-06 第3版 信息技術)