新浪科技訊 北京時間7月9日消息，以下為(wei) George Dvorsky對超級人工智能的看法：我相信，機器智能將是人類種下的最後禍根。這二十多年來，我所想的和寫(xie) 的，大多和機器智能毀滅人類的潛力有關(guan) 。我為(wei) 此受到了諸多抨擊，但我還是想說，我們(men) 不能忽視這樣的未來可能性：人類文明或毀於(yu) 自己發明的工具。

　　反對“超級人工智能毀滅人類”這個(ge) 想法的觀點不在少數，其中一個(ge) 反對觀點出乎意料地常見，而我卻覺得十分荒唐。它不是說超級人工智能本身不可能，也不是說我們(men) 無法阻止邪惡的機器毀滅我們(men) 。這個(ge) 天真爛漫的反對觀點竟然認為(wei) ，一台無比聰明的計算機壓根沒有終結人類的手段或動機。

　　控製和理解的缺失

　　想象一下我們(men) 有這樣一些係統，無論是生物的還是人工的，它的智慧水平相當於(yu) 或遠高於(yu) 人類智慧。通過基因工程、納米技術、信息技術和認知科學的融合，我們(men) 可以從(cong) 根本上增強人類的大腦（甚至於(yu) 非人類的動物大腦），而超越人類的機器智能十分有可能來自於(yu) 計算機科學、認知科學和全腦仿真的進步。

　　接著，這些係統中的一個(ge) 出了問題，或者它們(men) 被故意用作武器。遺憾的是，一旦這些係統出現，我們(men) 大概率沒有辦法控製它們(men) ，也無法預測這些係統響應我們(men) 請求的方式。

　　蘇珊·施奈德是未來心靈中心的主任，也是“Artificial You： AI and the Future of the Mind”一書(shu) 的作者。她在郵件中解釋說：“這就是我們(men) 常說的控製問題。簡單來說就是，如何控製一個(ge) 比我們(men) 聰明得多的人工智能。”

　　施奈德提到了著名的回形針場景，作為(wei) 類比。回形針場景，即一家回形針製造商有一個(ge) 編程上很糟糕的人工智能，準備最大化自己的回形針生產(chan) 效率。結果卻是，這個(ge) 人工智能把地球上的一切都變成了回形針，從(cong) 而毀滅了地球。牛津大學哲學家尼克·博斯特羅姆在他2014年的著作“Superintelligence： Paths， Dangers， Strategies”中將這類風險命名為(wei) “反常實例化”。或者用施奈德的話更簡單地來說，即有一個(ge) 古老的魔法精靈故事，故事裏三個(ge) 願望的實現“永遠不會(hui) 順利”。在這裏，普遍的擔憂是，我們(men) 想讓超級智能去做一些事情，而由於(yu) 我們(men) 自己都不太了解要做的這些事情的細節，超級智能將嚴(yan) 重曲解我們(men) 的願望，從(cong) 而導致一些我們(men) 不願意看到發生的事情發生。

　　例如，我們(men) 可以“許願”實現一種有效提取太陽能的方法，結果卻是超級智能篡奪我們(men) 整個(ge) 地球的資源去建造一個(ge) 超大型的太陽能陣列。正如博斯特羅姆推測的那樣，要求超級智能“最大化人類幸福感”，可能會(hui) 迫使超級智能重新連接我們(men) 大腦中的快樂(le) 中心，或把我們(men) 的腦子上傳(chuan) 到超級計算機上，強迫我們(men) 永生永世體(ti) 驗那五秒鍾的快樂(le) 循環。一旦超級人工智能出現，厄運將會(hui) 以某種離奇且意想不到的方式降臨(lin) 。

　　人工智能機器研究所的人工智能理論家埃利澤·尤德科夫斯基在他的論文中，將超級人工智能視為(wei) 優(you) 化過程，或“在大型搜索空間中擊中小目標以產(chan) 生合乎邏輯的現實世界效果的係統”。問題是，這些過程往往傾(qing) 向於(yu) 探索廣闊的可能性空間，其中很多是我們(men) 壓根無法想象的。尤德科夫斯基寫(xie) 道：

　　“我正在訪問一座遙遠的城市，一位當地朋友主動提出開車送我去機場。我不知道附近情況。當朋友來到十字路口時，我無法預測他會(hui) 超哪個(ge) 方向拐彎。但是我仍然可以預測朋友的一係列不可預測行為(wei) 的最後結果：我們(men) 會(hui) 抵達機場。即便我朋友的家在這座城市的其他地方，因此他可能會(hui) 做一係列完全不同的拐彎，但我仍然可以自信地預測我們(men) 的目的地。從(cong) 科學角度來將，這難道不是一個(ge) 奇怪的場景嗎？我可以預測過程的結果，卻無法預測這個(ge) 過程中的任何一個(ge) 中間步驟。”

　　脫離了人類環境，並受到其基於(yu) 目標的編程驅動，機器在嚐試從(cong) A到B的過程中，可能會(hui) 造成相當嚴(yan) 重的附帶傷(shang) 害。可怕的是，人工智能也可能在嚐試實現自己的目標時，利用和濫用預先存在的強大資源——人類，並且怎麽(me) 利用和濫用，又是我們(men) 無法預測的。

　　讓人工智能對人類友好

　　用一組預先確定的道德考量進行編程的人工智能或許可以避免某些陷阱，但尤德科夫斯基指出，我們(men) 幾乎無法預測人工智能可能遵循的所有路徑。

　　針對控製問題的一個(ge) 可能解決(jue) 方案是向人工智能灌輸兼容人類的道德準則。根據這個(ge) 思路，如果我們(men) 能成功，一台強大的機器或許可以避免造成傷(shang) 害，或避免以違反我們(men) 倫(lun) 理道德感的方式做它自己的事情。施奈德說，但問題在於(yu) ，我們(men) 如果想要“按照道德準則進行編程，那我們(men) 就需要一個(ge) 良好的道德理論，然而在倫(lun) 理道德領域，我們(men) 有太多太多的分歧”。

　　十分有道理。人類從(cong) 來沒有達成一個(ge) 人人都認同的共同道德準則。但凡對列車問題稍有一點了解的人都會(hui) 告訴你，倉(cang) 促之下，道德問題會(hui) 變得超級複雜。通過向超級智能傳(chuan) 授人類道德，來達到使超級智能變得安全和可控的目的，這個(ge) 想法，可能行不通。

　　方式和方法

　　路易斯維爾大學計算機科學和工程教授羅曼•揚波爾斯基解釋說：“如果我們(men) 可以預測超級智能的行為(wei) ，那我們(men) 自己就是那個(ge) 超級智能。根據定義(yi) ，超級智能比任何一個(ge) 人類都更加聰明，所以它可以想出一些未知的未知解決(jue) 方案”，去完成我們(men) 交代它的任務，無論這個(ge) 任務是設計一種治療瘧疾的新藥、製定戰場策略還是管理本地電網。盡管如此，揚波爾斯基相信，我們(men) 或許可以通過觀察聰明人會(hui) 如何設法統治世界或摧毀世界，來預測超級智能的惡意行為(wei) 。

　　他說：“比如，蛋白質折疊問題的解決(jue) 方案”，即使用氨基酸序列來確定蛋白質的三維形狀，“這個(ge) 解決(jue) 方案可能被用於(yu) 創建一支生物納米機器人軍(jun) 隊。當然，還有很多不那麽(me) 新奇的辦法可以利用。人工智能可以完成一些股票交易、或打撲克、或寫(xie) 作，然後用獲得的收益雇傭(yong) 人類聽它差遣。鑒於(yu) 最近加密貨幣的流行，這樁買(mai) 賣可以大規模地暗中進行。”

　　揚波爾斯基說，如果有足夠的財政資源，你可以輕易地從(cong) 雲(yun) 端獲取計算資源，並通過社會(hui) 工程來影響現實世界，或者，像揚波爾斯基說的那樣，雇傭(yong) 一支“人類勞動力大軍(jun) ”。超級智能或許可以通過財富的積累、CPU性能、存儲(chu) 能力以及影響範圍的提升，逐漸變得更加強大、更有影響力。

　　西班牙馬德裏自治大學的計算科學家曼努埃裏•阿方索卡解釋說，令人恐懼的是，超級智能可以就如何在我們(men) 的指令之外采取行動，做出一些判斷。

　　他說，超級人工智能可能“得出結論，即沒有人類，這個(ge) 世界會(hui) 更美好，並消滅我們(men) ”。他還補充說，有些人引用這一可怕的可能性來解釋我們(men) 為(wei) 什麽(me) 到目前為(wei) 止仍沒有找到外星智慧生命；也許，阿方索卡說，“所有外星智慧都已被超級人工智能所取代，而人類在這些超級人工智能看來，不過是一種低等的生命形式，因此它們(men) 無意與(yu) 我們(men) 交流”。

　　對於(yu) 想要故意毀滅人類的超級智能來說，成功的最簡單之道就是利用我們(men) 的生物弱點。人類在沒有食物的情況下可以生存大約30天，沒有水的話隻能生存3到4天，但是缺了氧氣，我們(men) 連幾分鍾都撐不下去。一台足夠智能的機器很有可能會(hui) 發現一種方法，來徹底清除我們(men) 大氣中的氧氣，也許它可以通過某種自我複製的納米技術群來實現這個(ge) 操作。未來主義(yi) 者對此有一個(ge) 專(zhuan) 門的描述，叫做全球生態吞噬，或可怕的“灰蠱情景”。在這種情景下，大量精心設計的分子機器將尋找特定的資源，然後把它們(men) 變成其他東(dong) 西，包括自身的副本。這種資源不一定是氧氣，隻要清除對人類生存至關(guan) 重要的關(guan) 鍵資源就行了。

　　非科幻小說

　　這一切聽起來都極具科幻色彩，但阿方索卡說，帶有猜測性質的虛構故事有助於(yu) 強調潛在的風險，特指《黑客帝國》。施奈德也相信虛構故事的力量，她提到了反烏(wu) 托邦短片《屠戮機器》。在這部短片中，武裝無人機襲擊了一間教室。施奈德說，人們(men) 對於(yu) 危險的人工智能和自主殺人機器的擔憂越來越“接近當下”。例如，無人機技術可以利用現有的麵部識別軟件來瞄準人類。施奈德說：“這是一個(ge) 嚴(yan) 重的問題。”因此，她認為(wei) ，《屠戮機器》非常值得一看。

　　麻省理工學院的機器學習(xi) 研究員馬克思•泰格馬克在他一本2017年出版的書(shu) 中寫(xie) 道，諸如《終結者》這類影片雖然呈現了模糊的未來可能情景，但也“讓人們(men) 的關(guan) 注點偏離了人工智能帶來的真正風險和機遇”。泰格馬克設想了一個(ge) 更微妙、甚至更陰險的情景。在他的設想中，機器通過狡猾的社會(hui) 工程和詭計以及穩定地收集有價(jia) 值的資源，來統治全世界。在他的書(shu) 中，泰格馬克提到了“普羅米修斯”。這是一種假設的通用人工智能（AGI），使用其自適應智能和多功能性，從(cong) 而“以多種方式控製人類”，而那些反抗的人也沒辦法“簡單地用關(guan) 掉普羅米修斯的方式”來擺脫控製。

　　就其本身而言，通用機器智能的出現注定是意義(yi) 深遠的，且十分可能成為(wei) 人類曆史的一個(ge) 轉折點。一個(ge) 通用人工智能“將有能力遞歸地設計出更優(you) 的通用人工智能。最終，物理定律將成為(wei) 這個(ge) 不斷改進的通用人工智能的唯一限製。當然，物理定律範圍內(nei) 允許的智慧，似乎遠在人類智慧水平之上，”泰格馬克寫(xie) 道。換句話說，人工智能可以用來發明超級智能。這樣一個(ge) 時代，即我們(men) 人類或將有見證“智能爆炸”的時代，將出現一些嚴(yan) 重的、我們(men) 不希望發生的後果。

　　泰格馬克寫(xie) 道：“如果有一群人成功控製了智能爆炸，那麽(me) 這群人可能會(hui) 在幾年內(nei) 統治全球。如果人類無法控製智能爆炸，那麽(me) 人工智能自己將會(hui) 更快地統治世界。”

　　永遠的旁觀者

　　另一個(ge) 關(guan) 鍵漏洞與(yu) 人類越來越被排斥在技術循環之外的方式有關(guan) 。眾(zhong) 所周知，算法如今掌管著大部分的股票交易；也許更臭名昭著的是，算法如今也可以在近距離空戰中擊敗人類的F-16飛行員。越來越多的人工智能被要求在無人類幹預的情況下做出重大決(jue) 策。

　　施奈德擔心，“軍(jun) 隊中已經存在人工智能軍(jun) 備競賽”，以及“對人工智能的日益依賴將導致人類的感知和認知能力無法以足夠快的方式應對軍(jun) 事挑戰”。施奈德說，我們(men) 會(hui) 要求人工智能去為(wei) 我們(men) 完成這些任務，但我們(men) 仍不知道該如何繼續讓人類處於(yu) 這個(ge) 技術循環之中。她還解釋說，可以想象，麵對軍(jun) 事攻擊時，人工智能將最終代表我們(men) 人類去應戰——甚至在我們(men) 人類還未來得及合成傳(chuan) 入的數據之前。

　　人類容易犯錯，特別是在戰場上處於(yu) 壓力之下時，但人工智能的誤判可能會(hui) 帶來額外的風險。這樣我們(men) 不禁想起1983年曾發生的一次事故。當時，蘇聯的預警係統差點引發一場核戰爭(zheng) 。

　　科幻作家艾薩克•阿西莫夫已然預見到這一天的到來。在他的小說中，盡管受到機器人三大定律的約束，但他筆下的機器人依然遇到了各式各樣的麻煩，哪怕我們(men) 人類已經盡了最大的努力。如果我們(men) 試圖去做一些類似的事情的話，相似的問題或將浮現。盡管，施奈德表示，想要就指導我們(men) 機器人同胞的道德準則達成一致，這本身就很難。

　　但是，我們(men) 除了一試別無選擇。考慮到這其中的利害關(guan) 係，對落敗一笑置之不是一個(ge) 真正的選擇。正如博斯特羅姆所說，我們(men) 的“智慧必須優(you) 於(yu) 我們(men) 的技術”。

　　眼下十分要緊的是一係列潛在的全球災難，這些問題甚至出現在超級人工智能問世以先。而我們(men) 人類顯然一點也不擅長應對全球性災難，這一點已經毋庸置疑。

　　新冠病毒及其棘手的變異體(ti) 幾乎不具備什麽(me) 智慧，但這種病毒仍能夠利用我們(men) 的弱點——無論是生物上的弱點還是社交上的弱點——被動地運作。這種導致了全球疫情的病毒可以適應我們(men) 的防範措施，不過隻能通過隨機突變和選擇的過程，而這些過程始終受生物學的約束。更不祥的是，一個(ge) 邪惡的人工智能可以設計自己的“低智慧”病毒，並不斷地調整該病毒以創造更致命的新變異體(ti) ，來應對我們(men) 的防範措施。

　　在疫情初期，揚波爾斯基曾說：“這個(ge) 病毒智商幾乎為(wei) 0，卻讓我們(men) 焦頭爛額。人工智能安全（部分地）相當於(yu) 計算機病毒，但智商卻高達1000以上。”

　　遺憾的是，正如我們(men) 所知，超級人工智能不缺終結人類文明的辦法，不是通過簡單的蠻力，而是通過自適應的設計、強化的形勢感知和迅捷的計算反應，以更有效的方式來終結人類文明。那麽(me) ，是不是有可能創建一個(ge) 安全、有益且有道德的人工智能呢？唯一的選擇或許在於(yu) 在全球範圍內(nei) 禁止開發近乎超級智能的人工智能。這雖然不太可能，但確實十分有必要。

關(guan) 注【深圳科普】微信公眾(zhong) 號，在對話框：
回複【最新活動】，了解近期科普活動
回複【科普行】，了解最新深圳科普行活動
回複【研學營】，了解最新科普研學營
回複【科普課堂】，了解最新科普課堂
回複【科普書(shu) 籍】，了解最新科普書(shu) 籍
回複【團體(ti) 定製】，了解最新團體(ti) 定製活動
回複【科普基地】，了解深圳科普基地詳情
回複【觀鳥星空体育官网入口网站】，學習(xi) 觀鳥相關(guan) 科普星空体育官网入口网站
回複【博物學院】，了解更多博物學院活動詳情