圖片來源：pixabay

靜物畫家知道，為(wei) 了讓畫中的物體(ti) 看起來更加寫(xie) 實，必須考慮光在物體(ti) 表麵的反射。反射圖像的顏色、位置和亮度，受物體(ti) 周圍環境的影響，而這意味著其能反過來反映物體(ti) 周圍環境的關(guan) 鍵信息。科學家發現，通過拍攝反光物體(ti) 的簡短視頻片段，就可以利用其表麵反射的光來複現其周圍環境的大致畫麵。無論是碗、易拉罐還是一個(ge) 皺巴巴的薯片包裝袋，其結果都十分準確。

用來複現環境的數學模型也能夠近似估計如果將一個(ge) 已知的物體(ti) 放置在新環境中或者從(cong) 一個(ge) 新的角度來看時，光會(hui) 在其表麵如何反射，以及最終物體(ti) 會(hui) 呈現什麽(me) 外觀。這兩(liang) 種不同的應用是互相關(guan) 聯的，“我們(men) 研究的挑戰在於(yu) 這兩(liang) 者是相互交纏的，你需要解決(jue) 光問題，以得到精確的外觀；你也需要有精確的外觀模型，以獲得正確的光。解決(jue) 該挑戰的方法可能是將這兩(liang) 者統籌考慮——正如我們(men) 所做的那樣。”Jeong Joon Park說道，他是華盛頓大學圖形與(yu) 成像實驗室(GRAIL)的博士生。

今年早些時候，Park的研究團隊在arXiv.org網站上發布了他們(men) 研究的預印本，該論文也被邀請在下一年的IEEE計算機視覺和模式識別會(hui) 議（IEEE Conference on Computer Vision and Pattern Recognition）以報告展示，此會(hui) 議將於(yu) 6月份遠程舉(ju) 行。

Park說這項新技術可以幫助設計師建造更真實的增強和虛擬現實場景。例如，在Zoom視頻通話中，許多用戶使用的虛擬背景的光線與(yu) 用戶實際的光照條件是不匹配的。環境複現技術可以修正這些背景，使用戶真實的麵部與(yu) 虛擬的環境更加匹配。

兩(liang) 張圖片顯示的是同一個(ge) 房間：一張是根據房間內(nei) 一個(ge) 薯片包裝袋的視頻片段複現的(上)，另一張是直接拍攝的(下)。圖片來源：Jeong Joon Park

又例如，一款增強現實的應用程序可能很難準確描繪出一件家具在用戶的客廳裏會(hui) 是什麽(me) 樣子，此程序可能會(hui) 讓它看起來更像一個(ge) 卡通插畫，而不是一件實體(ti) 物。Park說他團隊的模型能夠讓物體(ti) 看起來就像真的在這個(ge) 房間一樣，“你必須評估周圍的環境來合理照亮虛擬物體(ti) ，光線越精確，虛擬物體(ti) 看起來就會(hui) 越真實。”

這項技術也可應用於(yu) 虛擬現實。在虛擬現實場景中，用戶可能會(hui) 戴著頭盔在虛擬場景中走來走去，或者“拿起”一個(ge) 數碼產(chan) 品在手中擺弄。當他們(men) 這樣做時，因為(wei) 周圍光線條件的改變，所見物的樣子也會(hui) 隨之發生改變——正如在現實世界中那樣。Park說他團隊的係統可以計算光線的特征來“給你一種任何視角都非常真實的體(ti) 驗感。”

這個(ge) 過程叫做視圖重構（view reconstruction），或新視圖合成（novel view synthesis）。魁北克拉瓦爾大學電子和計算機工程的副教授Jean-Fran?ois Lalonde（他並沒有參與(yu) Park團隊的最新技術研究。）說：“Park的團隊正試圖用一種新方法來合成或生成一個(ge) 全新視角的物體(ti) 圖像，即你從(cong) 不同的角度觀察一個(ge) 特定的物體(ti) ，然後想知道從(cong) 一個(ge) 全新的角度來看時物體(ti) 的樣子。以前的研究用兩(liang) 種不同的技術來解決(jue) 這個(ge) 問題。最早是利用物體(ti) 的幾何形狀和物理定律來計算光線和顏色如何隨著視角的變化而變化。然後，在大約兩(liang) 三年前，我們(men) 采用另一套方法提出一種不同的建模方式，使用深度學習(xi) 算法來記憶一個(ge) 物體(ti) 的樣子，並預測它的外觀在不同的視角下會(hui) 發生什麽(me) 變化。”

這項新的技術將之前的兩(liang) 種技術結合起來，能讓科學家“同時利用物理推理和深度學習(xi) 帶來的統計推理的力量。他們(men) 在深度學習(xi) 過程中加入了更多的物理推理過程，所以能夠獲得更高質量的結果。” Lalonde說道。

Park和他的同事用視圖合成的方法來複現周圍環境，以測試這種新技術。他們(men) 用攝像機拍攝了各種物品：前麵提到的薯片袋、易拉罐、陶瓷碗，甚至還有一尊貓雕像，然後利用其反射光，結合模型複現周圍的環境。測試結果和實際環境十分吻合，且鏡麵狀的物體(ti) 產(chan) 生的結果更為(wei) 精確。“起初，我們(men) 十分驚奇，因為(wei) 一些複現的環境的細節甚至是我們(men) 通過肉眼無法識別的。”Park說道。

另外，他也承認該技術有一個(ge) 顯著的缺點：一張普通的照片可能會(hui) 轉化為(wei) 侵犯隱私的工具。如果科學家能夠根據反射精確地複現周圍的環境，那麽(me) 任何含有反光物體(ti) 的照片都可能在不經意間揭露更多的信息。Park建議，隨著技術的不斷改進，開發者應該謹記這個(ge) 問題，並積極防範隱私泄露。

然而，他也強調目前複現的圖像還不是很清楚，“我希望未來的研究能夠基於(yu) 現有的工作基礎來提高複現環境和場景的質量。我的長期目標是複現現實世界，不僅(jin) 包括良好的視覺效果，還包括能夠與(yu) 虛擬環境進行互動。”

作者：Sophie Bushwick

翻譯：謝宛岑

審校：馬一瑗

引進來源：

引進鏈接https://www.scientificamerican.com/article/a-shiny-snack-bags-reflections-can-reconstruct-the-room-around-it/


關(guan) 注【深圳科普】微信公眾(zhong) 號，在對話框：
回複【最新活動】，了解近期科普活動
回複【科普行】，了解最新深圳科普行活動
回複【研學營】，了解最新科普研學營
回複【科普課堂】，了解最新科普課堂
回複【科普書(shu) 籍】，了解最新科普書(shu) 籍
回複【團體(ti) 定製】，了解最新團體(ti) 定製活動
回複【科普基地】，了解深圳科普基地詳情
回複【觀鳥星空体育官网入口网站】，學習(xi) 觀鳥相關(guan) 科普星空体育官网入口网站
回複【博物學院】，了解更多博物學院活動詳情