會員登錄
科技前沿：如何讓人工智能技術更親民
打賞
推廣
科技前沿：如何讓人工智能技術更親民
圖片來源：Pixabay
2020年，一個既能夠讀懂文章又能對問題做出反應並且能夠自主形成新的寫作範例，代號為GPT-3的龐大語言學習模型引起了國際媒體的關注。這個模型由加州的一個非營利機構Open AI發布，該機構致力於開發通用人工智能係統，GPT-3除了具有模仿人類的寫作能力之外，值得注意的還有其龐大的規模。為了建造它，研究人員們收集了1750億組參數（一種計算單位）以及源於Common Crawl, Reddit, Wikipedia和其他來源的超過45兆字節的文章，然後在一個由數千個處理單元組成的係統中花費上千小時對其進行訓練。
GPT-3論證了人工智能更廣泛的發展趨勢。深度學習成為了近幾年來製造AI的先導技術，它通過使用大量的數據和計算能力實現造就複雜、精準的模型。然而，大公司和精英大學中的研究人員才更容易獲取到這些資源。因此，西方大學的一項研究表明，AI已經出現了“去民主化”：能夠為尖端科技發展做出貢獻的研究人員數量正在不斷地減少。這縮小了能夠為這一具有社會意義的關鍵技術確定研究方向的人的範圍。它甚至可能助長AI發展所麵臨的一些倫理挑戰，包括隱私侵犯、帶有偏見和大型模型導致的環境影響。
圖片來源：Pixabay
為了克服這些困難，研究人員們正在嚐試找出用更少的資源做更多事情的辦法。最近就有一項這樣的發展，叫做“不到一次”——射擊訓練（LO-shot練習），這個項目由滑鐵盧大學的 Ilia Sucholutsky和Matthias Schonlau開發。LO-shot學習背後的原則是讓人工智能在學習時能夠“舉一反三”。這是當代人工智能係統麵臨的一個主要障礙，因為它通常需要數千個案例來學習區分對象。從另一個角度解釋，即人類總是能對已有的案例進行抽象，以認出新的未曾見到過的物品。例如，當向一個孩子展示不同形狀時，他總是能夠很容易地區分這些例子，並識別之前看到的物品與新形狀之間的關係。
研究團隊首先通過一個叫做軟蒸餾的過程引入這一學習功能。由國家標準和技術研究所運行的一個名為MNIST的圖像數據庫，其中包含60,000個從0到9的書麵數字的例子，被總結成混合了不同數字特征的五幅圖像。在學習了這五個案例後，滑鐵盧大學的這一係統能夠準確對數據庫中其餘92%的圖像進行分類。
在最新發表的文章中，該團隊又擴展了學習原則以表明，理論上，LO-shot技術允許AI在隻給出少量的數據集，甚至在隻有兩個案例的條件下也具備學習的潛能。這對於傳統的深度學習係統來說是一項重大的突破，這種係統對數據的需求將會隨著需要區分更多的對象呈指數的增長。目前，LO-shot的小數據集需要細心地設計，以提取不同類對象的特征。但是Sucholutsky正試圖通過研究現有小型數據集中已經捕獲的對象之間的關係來進一步發展這項工作。
圖片來源：Pixabay
實現AI在相對少的數據條件下學習是十分重要的，主要有以下幾個原因。首先，強製係統生成其未經學習的分類，能夠更好地壓縮實際學習過程。通過在抽象中構建捕獲對象之間關係的方法，該技術還減少了產生偏差的可能性。目前，深度學習係統由於訓練數據中存在不相關的特征而帶有偏差。關於這個問題最典型的一個案例就是讓AI識別雪天中狗的圖像時，它總是會將狗辨別為狼——這是因為大多數狼的圖像中都是以雪為背景的。能夠專注於圖像的相關方麵將有助於防止這些錯誤。 因此，減少數據需求使這些係統不那麽容易受到此類偏見的影響。
其次，係統所需要的數據越不廣泛，優化算法時對人們（真實）信息的監視需求就越少。例如，軟蒸餾技術已經開始對醫學人工智能研究產生影響，醫學研究中的數據訓練集通常需要使用敏感的健康信息。最近發表的一篇文章中，研究人員們基於一個小型的，隱私保密的數據集，將軟蒸餾技術應用在診斷X射線圖像上。
最後一個原因，允許AI以不太充足全麵的數據來進行學習，以此幫助人工智能領域的親民化。通過使用小型AI模型，學術界內部的相互關聯得以維持，並避免教授被工業界挖走的風險。LO-shot除了通過降低訓練的成本以及減少數據的需求來降低學習壁壘，還為用戶創建新的數據集和用新的方法進行研究提供更多的靈活性。通過減少在數據上和建造工程上花費的時間，想要利用AI的研究者們能花更多的時間在其需要解決的實際問題上。
撰文：Ryan Khurana
翻譯：仇豔菲
審校：董子晨曦
引進來源：科學美國人
引進鏈接：https://www.scientificamerican.com/article/how-to-make-artificial-intelligence-more-democratic/
關注【深圳科普】微信公眾號，在對話框：
回複【最新活動】，了解近期科普活動
回複【科普行】，了解最新深圳科普行活動
回複【研學營】，了解最新科普研學營
回複【科普課堂】，了解最新科普課堂
回複【科普書籍】，了解最新科普書籍
回複【團體定製】，了解最新團體定製活動
回複【科普基地】，了解深圳科普基地詳情
回複【觀鳥星空体育官网入口网站】，學習觀鳥相關科普星空体育官网入口网站
回複【博物學院】，了解更多博物學院活動詳情
圖片來源：Pixabay
2020年，一個既能夠讀懂文章又能對問題做出反應並且能夠自主形成新的寫作範例，代號為GPT-3的龐大語言學習模型引起了國際媒體的關注。這個模型由加州的一個非營利機構Open AI發布，該機構致力於開發通用人工智能係統，GPT-3除了具有模仿人類的寫作能力之外，值得注意的還有其龐大的規模。為了建造它，研究人員們收集了1750億組參數（一種計算單位）以及源於Common Crawl, Reddit, Wikipedia和其他來源的超過45兆字節的文章，然後在一個由數千個處理單元組成的係統中花費上千小時對其進行訓練。
GPT-3論證了人工智能更廣泛的發展趨勢。深度學習成為了近幾年來製造AI的先導技術，它通過使用大量的數據和計算能力實現造就複雜、精準的模型。然而，大公司和精英大學中的研究人員才更容易獲取到這些資源。因此，西方大學的一項研究表明，AI已經出現了“去民主化”：能夠為尖端科技發展做出貢獻的研究人員數量正在不斷地減少。這縮小了能夠為這一具有社會意義的關鍵技術確定研究方向的人的範圍。它甚至可能助長AI發展所麵臨的一些倫理挑戰，包括隱私侵犯、帶有偏見和大型模型導致的環境影響。
圖片來源：Pixabay
為了克服這些困難，研究人員們正在嚐試找出用更少的資源做更多事情的辦法。最近就有一項這樣的發展，叫做“不到一次”——射擊訓練（LO-shot練習），這個項目由滑鐵盧大學的 Ilia Sucholutsky和Matthias Schonlau開發。LO-shot學習背後的原則是讓人工智能在學習時能夠“舉一反三”。這是當代人工智能係統麵臨的一個主要障礙，因為它通常需要數千個案例來學習區分對象。從另一個角度解釋，即人類總是能對已有的案例進行抽象，以認出新的未曾見到過的物品。例如，當向一個孩子展示不同形狀時，他總是能夠很容易地區分這些例子，並識別之前看到的物品與新形狀之間的關係。
研究團隊首先通過一個叫做軟蒸餾的過程引入這一學習功能。由國家標準和技術研究所運行的一個名為MNIST的圖像數據庫，其中包含60,000個從0到9的書麵數字的例子，被總結成混合了不同數字特征的五幅圖像。在學習了這五個案例後，滑鐵盧大學的這一係統能夠準確對數據庫中其餘92%的圖像進行分類。
在最新發表的文章中，該團隊又擴展了學習原則以表明，理論上，LO-shot技術允許AI在隻給出少量的數據集，甚至在隻有兩個案例的條件下也具備學習的潛能。這對於傳統的深度學習係統來說是一項重大的突破，這種係統對數據的需求將會隨著需要區分更多的對象呈指數的增長。目前，LO-shot的小數據集需要細心地設計，以提取不同類對象的特征。但是Sucholutsky正試圖通過研究現有小型數據集中已經捕獲的對象之間的關係來進一步發展這項工作。
圖片來源：Pixabay
實現AI在相對少的數據條件下學習是十分重要的，主要有以下幾個原因。首先，強製係統生成其未經學習的分類，能夠更好地壓縮實際學習過程。通過在抽象中構建捕獲對象之間關係的方法，該技術還減少了產生偏差的可能性。目前，深度學習係統由於訓練數據中存在不相關的特征而帶有偏差。關於這個問題最典型的一個案例就是讓AI識別雪天中狗的圖像時，它總是會將狗辨別為狼——這是因為大多數狼的圖像中都是以雪為背景的。能夠專注於圖像的相關方麵將有助於防止這些錯誤。 因此，減少數據需求使這些係統不那麽容易受到此類偏見的影響。
其次，係統所需要的數據越不廣泛，優化算法時對人們（真實）信息的監視需求就越少。例如，軟蒸餾技術已經開始對醫學人工智能研究產生影響，醫學研究中的數據訓練集通常需要使用敏感的健康信息。最近發表的一篇文章中，研究人員們基於一個小型的，隱私保密的數據集，將軟蒸餾技術應用在診斷X射線圖像上。
最後一個原因，允許AI以不太充足全麵的數據來進行學習，以此幫助人工智能領域的親民化。通過使用小型AI模型，學術界內部的相互關聯得以維持，並避免教授被工業界挖走的風險。LO-shot除了通過降低訓練的成本以及減少數據的需求來降低學習壁壘，還為用戶創建新的數據集和用新的方法進行研究提供更多的靈活性。通過減少在數據上和建造工程上花費的時間，想要利用AI的研究者們能花更多的時間在其需要解決的實際問題上。
撰文：Ryan Khurana
翻譯：仇豔菲
審校：董子晨曦
引進來源：科學美國人
引進鏈接：https://www.scientificamerican.com/article/how-to-make-artificial-intelligence-more-democratic/
關注【深圳科普】微信公眾號，在對話框：
回複【最新活動】，了解近期科普活動
回複【科普行】，了解最新深圳科普行活動
回複【研學營】，了解最新科普研學營
回複【科普課堂】，了解最新科普課堂
回複【科普書籍】，了解最新科普書籍
回複【團體定製】，了解最新團體定製活動
回複【科普基地】，了解深圳科普基地詳情
回複【觀鳥星空体育官网入口网站】，學習觀鳥相關科普星空体育官网入口网站
回複【博物學院】，了解更多博物學院活動詳情
聽說，打賞我的人最後都找到了真愛。
做科普，我們是認真的！
掃描關注深i科普公眾號
加入科普活動群
- 參加最新科普活動
- 認識科普小朋友
- 成為科學小記者
上一篇：科技前沿：拓撲半金屬具有超導現象
