版權歸原作者所有，如有侵權，請聯係我們(men)

在俄羅斯和烏(wu) 克蘭(lan) 的衝(chong) 突中，最近爆出的一段視頻引人關(guan) 注：烏(wu) 克蘭(lan) 無人機深入到距離邊境1000多公裏的俄羅斯境內(nei) ，摧毀了俄方石油和天然氣基礎設施。專(zhuan) 家分析稱，這很可能是人工智能在指揮無人機攻擊目標。烏(wu) 方軍(jun) 事指揮官也表示，烏(wu) 克蘭(lan) “已經在沒有人工幹預的情況下，開展完全機器人化的行動”。

也就是說，這類人工智能武器係統可以在沒有人類幹預的情況下，自主選擇和攻擊目標。事實上，人工智能在戰爭(zheng) 中的應用遠比我們(men) 想象中簡單得多：現有的人工智能和機器人技術完全可以提供合適的物理平台，這類係統找到人類目標並殺死他們(men) 的技術難度，甚至比開發自動駕駛汽車要容易得多，是研究生就能搞定項目。

因此一些觀察家擔心，未來任何派別都可能派遣成群的廉價(jia) 人工智能無人機，利用麵部識別技術消滅特定的人。更要命的是，如果我們(men) 把殺戮按鈕交給機器，將徹底改變戰爭(zheng) 的性質。也因此，致命性自主武器係統被認為(wei) 是繼火藥和核武器之後的第三次戰爭(zheng) 革命。

4月29日，在維也納舉(ju) 行的關(guan) 於(yu) 自主武器係統的首次國際會(hui) 議上，奧地利聯邦歐洲和國際事務部長亞(ya) 曆山大·沙倫(lun) 貝格（Alexander Schallenberg）強調，“我相信，這是我們(men) 這代人的奧本海默時刻。”

撰文 | Ren

戰爭(zheng) ，就像人類文明永遠無法擺脫的陰影。如今，這場一直由人類當主角的血腥遊戲，正在被人工智能（AI）所接管。

無論是俄烏(wu) 衝(chong) 突，還是以巴以衝(chong) 突為(wei) 首的中東(dong) 地區戰亂(luan) ，AI的影子都依稀可見：它（在人類的監督下）操控著無人機、導彈、槍械、地雷等武器，識別打擊目標並發動攻擊。

這是我們(men) 第一次深刻地體(ti) 會(hui) 到AI的兩(liang) 麵性，它既能造福人類，也能在瞬息之間奪走人類的生命。很遺憾，我們(men) 來不及為(wei) 逝者哀哭，在軍(jun) 事領域，這種規模的AI應用隻是一個(ge) 開始。

我們(men) 即將看到的是，一場AI軍(jun) 備大賽正緩緩拉開大幕，武器將變得越來越智能和自主，人類將慢慢退出它們(men) 的決(jue) 策過程，直到致命自主武器係統（Lethal Autonomous Weapons systems，LAWs）出現並被部署到戰場上。

我們(men) 並未準備好麵對這一切。當有一天AI武器能夠自主出擊，當無數人的生死僅(jin) 憑一行代碼就能決(jue) 定，你是否能接受自己的命運被交由冰冷的算法做出判決(jue) ？

所有人都應該明白，讓算法決(jue) 定一個(ge) 人的生死是一個(ge) 糟糕透頂的主意。幸運的是，我們(men) 還有時間來阻止這一切變成現實；不幸的是，時間不多了。

遠程操作VS自主決(jue) 策

按照美國國防部的定義(yi) ，根據人類所發揮作用的不同，武器的自主級別可以分為(wei) “人在環中”“人在環上”“人在環外”三種：

人在環中，武器的行動完全由人來決(jue) 策和控製；

人在環上，武器激活後可以按照指令自主決(jue) 策和行動，人可以監督並按需隨時介入接管決(jue) 策權和控製權；

人在環外，武器激活後會(hui) 被指定行動目標，之後完全自主決(jue) 策和實施行動。

好消息是，就目前已知的情況來看，還沒有真正意義(yi) 上的“（人在環外的）致命自主武器係統”被投入使用。根據聯合國的說法，它們(men) 是“在沒有人類監督的情況下定位、選擇和攻擊人類目標的武器”。

這裏所討論的不是由人類遠程操控的武器，比如大名鼎鼎的美國“捕食者”無人機，或者烏(wu) 克蘭(lan) 前線士兵自製的投彈無人機，可以在人類的操控下遠程投擲手榴彈。

隨著人們(men) 對這些武器的認知逐漸加深，加上電子幹擾技術的進步，它們(men) 的打擊效果將變得越來越弱。因此，一些國家和企業(ye) 將目光投向了無人機等自主武器的研發。

美國國防部高級研究計劃局（DARPA）曾經公布過兩(liang) 項計劃，透露了其自主武器係統的計劃用途：快速輕量級自主（FLA）和幹擾環境中的協同操作（CODE）。前者將對微型旋翼機進行編程，使其能夠在無人輔助的情況下在城市地區和建築物內(nei) 高速飛行。後者的目標是開發自主飛行器小組，在敵方信號幹擾導致無法與(yu) 人類指揮官通信的情況下，執行打擊任務的所有步驟——發現、確定、跟蹤、瞄準、交戰、評估。

其他國家也有相關(guan) 的武器研發。自2017年以來，土耳其一家名為(wei) STM的公司一直在銷售Kargu無人機，該無人機隻有餐盤大小，可攜帶1公斤炸藥。根據該公司 2019 年的網站描述，該無人機能夠“自主且精確”地打擊車輛和人員，“在圖像上選擇目標”並“跟蹤移動目標”。

以色列的Harpy 無人機可以在一個(ge) 地區上空飛行數小時，尋找與(yu) 視覺或雷達信號相匹配的目標，然後用爆炸物摧毀它們(men) 。美國海軍(jun) 和國防部高級研究計劃局也研發了“海上獵手”號無人駕駛軍(jun) 艦，可以從(cong) 事反潛跟蹤等任務。

放眼全球，實驗性的潛艇、坦克和艦船也已經製造出來，全都可以利用AI進行自動駕駛和射擊。根據目前披露的信息，這些武器既可以遠程操控，也可以在激活後自主執行任務。很難分辨人類究竟在多大程度上介入了其決(jue) 策過程。

AI申請出戰

某種自主武器至少已經存在了幾十年，包括熱尋導彈，甚至可追溯到美國內(nei) 戰時的壓力觸發地雷（如果將自主性的定義(yi) 放寬）。然而現在，AI算法的開發和使用正在擴展它們(men) 的能力。

事實上，AI在戰爭(zheng) 中的應用遠比我們(men) 想象中簡單得多。

加州大學伯克利分校的計算機科學家、反對AI武器的著名活動家斯圖爾特·拉塞爾（Stuart Russell）表示，“係統找到人類並殺死他們(men) 的技術能力比開發自動駕駛汽車要容易得多。這是一個(ge) 研究生項目。”

現有的AI和機器人技術完全可以提供合適的物理平台、感知、電機控製、導航、地圖、戰術決(jue) 策和長期規劃。武器製造商要做的就是將它們(men) 按需結合起來。例如，使用DeepMind 的 DQN 算法學習(xi) 人類的戰術策略，再加上已有的自動駕駛技術，一套自主武器係統完全可以完成城市搜索和摧毀任務。

我們(men) 很難知道AI武器在戰場上的表現如何，很大程度上是因為(wei) 軍(jun) 方不輕易發布此類數據。

2023年，英國戰略司令部副司令湯姆·科平格·賽姆斯（Tom Copinger-Symes）在英國議會(hui) 調查中，曾被直接問及AI武器係統，他表示不方便透露太多信息，隻是說英國軍(jun) 方正在開展基準研究，以比較自主武器係統與(yu) 非自主係統。

盡管現實世界的戰場數據很少，但研究人員指出，AI具有卓越的處理和決(jue) 策能力，理論上可以提供巨大優(you) 勢。例如，在快速圖像識別領域，近十年來算法的表現一直優(you) 於(yu) 人類。這為(wei) 它精準識別圖像中的打擊目標做好了鋪墊。

早在2020 年，AI模型就在一係列模擬空戰中擊敗了經驗豐(feng) 富的 F-16 戰鬥機飛行員，這主要歸功於(yu) 其“咄咄逼人的精確操縱，人類飛行員無法匹敵”。要知道，AI可以在極短時間內(nei) ，圍繞如何執行特定動作、與(yu) 對手的飛行距離和攻擊角度做出非常複雜的決(jue) 定。

今年4月，美國軍(jun) 方宣布完成了一次開創性試驗，讓一架AI控製的F-16戰機與(yu) 人類駕駛的戰機完成了真實的空中格鬥。AI操控的飛機實現了進攻和防禦演練，距離人類駕駛的戰機最近隻有610多米。

這架經過改裝的F-16戰鬥機，被稱為(wei) X-62A，由人工智能駕駛。

來源：資料

這標誌著美國軍(jun) 方在AI控製飛機自主作戰領域的一次突破。如果這項技術未來在戰場上出現，空戰的瞬息萬(wan) 變難以遠程操控，因此它必然屬於(yu) 致命自主武器的範疇。

理論上，AI還可以用於(yu) 戰爭(zheng) 的其他方麵，包括製定潛在打擊目標清單。此前有媒體(ti) 報道稱，以色列使用AI創建了一個(ge) 包含數萬(wan) 名可疑武裝分子姓名的數據庫。但以軍(jun) 方予以否認。

管控AI武器，做起來難

AI的強大讓人們(men) 不得不思考如何更好地管控它的使用，無論是從(cong) 實際應用層麵，還是從(cong) 道德層麵。

人類控製和規範武器使用的努力可以追溯到數百年前。例如，遵守紀律的中世紀騎士同意不用長矛瞄準對方的馬。1675年，法國和神聖羅馬帝國同意禁止使用毒彈。

如今，國際上對武器的主要限製是通過《聯合國特定常規武器公約》（CCW），該公約於(yu) 1983 年簽署，用於(yu) 禁止致盲激光武器等。

研究人員多年來一直致力於(yu) 控製致命自主武器係統帶來的新威脅。聯合國秘書(shu) 長安東(dong) 尼奧·古特雷斯去年7月表示，他希望在2026年之前禁止在無人監督的情況下使用武器。

阻止殺手機器人運動。來源：網絡

2023年12月，聯合國通過了一項關(guan) 鍵決(jue) 議，將AI武器的問題納入了2024年9月聯合國大會(hui) 議程中。

專(zhuan) 家表示，此舉(ju) 為(wei) 各國對AI武器采取行動提供了首個(ge) 現實途徑。但這說起來容易，做起來難。

一些人認為(wei) ，AI輔助武器可能比人類製導武器更準確，有可能減少所謂的附帶損害（Collateral damage），例如平民傷(shang) 亡和住宅區破壞，以及士兵死亡和致殘的數量，同時幫助弱小的國家和群體(ti) 保護自己。

但這種想法的漏洞在於(yu) 敵對國家也會(hui) 擁有此類武器，而且軍(jun) 事實力更強的國家很可能擁有更強大的自主武器，它們(men) 隻會(hui) 造成更大的傷(shang) 害，而非更少。

至於(yu) 依靠自主武器來減少附帶損害，這要建立在兩(liang) 個(ge) 前提的基礎上，而這兩(liang) 個(ge) 前提很難實現。

一是，AI不會(hui) 犯錯，或者說AI比人類犯錯概率更低。但現在沒人能打包票說AI就不會(hui) 犯下跟人類一樣的錯誤，比如將平民識別成打擊目標。

二是，自主武器的使用場景與(yu) 人類控製的武器（例如步槍、坦克和“捕食者”無人機）基本相同。這也未必站得住腳，因為(wei) 一旦新武器出現，作戰方法和打擊目標也會(hui) 隨之變化，其使用場景難以預測，也無法控製。

因此，大多數AI專(zhuan) 家認為(wei) ，在自主武器的道路上猛踩油門可能會(hui) 犯下災難性錯誤。讓AI自主選擇打擊目標並做出決(jue) 策，許多人對該行為(wei) 背後的道德問題深感擔憂。

2007年，英國軍(jun) 方曾被迫匆忙重新設計了用於(yu) 阿富汗的自主硫磺導彈，因為(wei) 擔心它可能會(hui) 將一輛載著兒(er) 童的巴士誤認為(wei) 是一卡車叛亂(luan) 分子。

這是因為(wei) 雖然AI擅長識別圖像，但它並不是萬(wan) 無一失的。我們(men) 都聽說過圖像識別的荒謬錯誤，比如把貓和狗搞混，但在戰爭(zheng) 中，把兒(er) 童和恐怖分子搞混就會(hui) 導致災難性的後果。

此外，AI係統可能會(hui) 被黑客攻擊，做出違背指令的行動，或者出現誤判等意外事件，導致衝(chong) 突升級或降低戰爭(zheng) 門檻。

研究人員和軍(jun) 方普遍提出的一項原則是，自主武器必須考慮 “人在環”。但人應該或必須在哪裏以及如何介入仍有爭(zheng) 議：人是否應當在授權打擊之前目視驗證目標？是否必須能夠在戰場條件發生變化（例如平民進入戰區）時取消打擊？

同時，AI自主武器也讓問責機製變得複雜而混亂(luan) 。一旦出現問題，承擔責任的顯然不是武器本身，那是授權打擊的人？還是武器製造商？抑或是AI係統的開發者？

鑒於(yu) AI自主武器的複雜性和破壞力，許多人（很可能是地球上的絕大多數人）認為(wei) 最好的解決(jue) 方案就是禁止致命的自主武器。但所有這些問題都要在國際層麵（聯合國）認可、討論、爭(zheng) 吵、談判和妥協。如此有爭(zheng) 議的話題和龐大的工作量，決(jue) 定了我們(men) 還要花上數年的時間才能邁出實質性的第一步。

但民間組織可以現在行動，AI和機器人領域的專(zhuan) 業(ye) 協會(hui) 應製定並執行禁止致命自主武器工作的行為(wei) 準則。在這方麵有很多先例，例如美國化學會(hui) 製定了嚴(yan) 格的化學武器政策，美國物理學會(hui) 要求美國批準《全麵禁止核試驗條約》，反對對無核國家使用核武器，以促進和平與(yu) 安全。

總而言之，AI驅動的自主武器注定會(hui) 出現，無論致命與(yu) 否，它都將重塑未來戰爭(zheng) 的形態。

人類不應讓這項“利器”失控，必須正視它帶來的風險和挑戰，抓緊一切時間和機會(hui) ，確保我們(men) 能夠及時地控製住它的發展。隻有如此，它才不會(hui) 從(cong) “終結者”變為(wei) “人類終結者”。

參考資料：

[1] https://www.nature.com/articles/d41586-024-01029-0

[2] https://www.nature.com/articles/d41586-023-00511-5

[3] https://www.nature.com/articles/521415a

[4] https://san.com/cc/experts-warn-world-is-running-out-of-time-to-regulate-ai-in-warfare/

本文受科普中國·星空計劃項目扶持

出品：中國科協科普部

監製：中國科學技術出版社有限公司、北京中科星河文化傳(chuan) 媒有限公司

特 別 提 示

1. 進入『返樸』微信公眾(zhong) 號底部菜單“精品專(zhuan) 欄“，可查閱不同主題係列科普文章。

2. 『返樸』提供按月檢索文章功能。關(guan) 注公眾(zhong) 號，回複四位數組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。

版權說明：歡迎個(ge) 人轉發，任何形式的媒體(ti) 或機構未經授權，不得轉載和摘編。轉載授權請在「返樸」微信公眾(zhong) 號內(nei) 聯係後台。

歡迎掃碼關(guan) 注深i科普！

我們(men) 將定期推出

公益、免費、優(you) 惠的科普活動和科普好物！