會員登錄
本報訊（記者沈春蕾）人工智能（AI）模型究竟是否安全，攻擊和防禦能力如何？日前，清華大學、阿裏安全、瑞萊智慧聯合推出了AI攻防對抗基準平台。該平台致力於(yu) 對AI防禦和攻擊算法進行自動化、科學評估，AI安全基準依托清華大學人工智能研究院研發的人工智能對抗安全算法平台ARES建立。
參與(yu) 該評測基準平台設計的阿裏安全高級算法研究人員越豐(feng) 打了一個(ge) 比喻：“就像打仗一樣，攻擊者可能用水攻，也可能用火攻，還可能偷偷挖條地道來攻打一座城；守城的人不能隻考慮一種可能性，必須布防應對許多的攻擊可能性。”
美國伊利諾伊大學計算機科學係教授李博認為(wei) ，機器學習(xi) 在推理和決(jue) 策中的快速發展已使其廣泛部署於(yu) 自動駕駛、智慧城市、智能醫療等應用中，但傳(chuan) 統的機器學習(xi) 係統通常假定訓練和測試數據遵循相同或相似的分布，並未考慮潛在攻擊者惡意修改兩(liang) 種數據分布。
他解釋道，這相當於(yu) 在一個(ge) 人成長的過程中，故意對他進行錯誤的行為(wei) 引導。惡意攻擊者可以在測試時設計小幅度擾動，誤導機器學習(xi) 模型的預測，或將精心設計的惡意實例注入訓練數據中，通過攻擊訓練引發AI係統產(chan) 生錯誤判斷。這好比是從(cong) AI“基因”上做了改變，讓AI在訓練過程中按錯誤的樣本進行訓練，最終變成被操控的“傀儡”，隻是使用的人全然不知而已。
記者獲悉，不同於(yu) 之前隻包含零散攻防模型的對抗攻防基準，此次三方聯合推出的AI對抗安全基準基本包括了目前主流的人工智能對抗攻防模型，涵蓋了數十種典型的攻防算法。不同算法的比測盡量采用相同的實驗設定和一致的度量標準，從(cong) 而在最大限度上保證了比較公平性。
除此之外，此次發布的AI安全排行榜也包括了在剛剛結束的CVPR2021人工智能攻防競賽中誕生的前5名代表隊的攻擊算法。此次競賽獲得了全球2000多支代表隊提交最新算法，進一步提升了該安全基準的科學性和可信性。
清華大學計算機科學與(yu) 技術係教授朱軍(jun) 告訴《中國科學報》：“通過對AI算法的攻擊結果和防禦結果進行排名、比較不同算法性能建立的AI安全基準具有重要學術意義(yi) ，可以更加公平、全麵地衡量不同算法的效果。”
清華大學、阿裏安全、瑞萊智慧三方都表示，該基準評測平台不是專(zhuan) 屬於(yu) 某一家機構或公司搭建的平台，需要工業(ye) 界和學術界的共同參與(yu) 才能把它打造為(wei) 真正受認可的全麵、權威AI安全評估平台。
《中國科學報》 (2021-06-10 第3版 信息技術)關注【深圳科普】微信公眾號，在對話框：
回複【最新活動】，了解近期科普活動
回複【科普行】，了解最新深圳科普行活動
回複【研學營】，了解最新科普研學營
回複【科普課堂】，了解最新科普課堂
回複【科普書籍】，了解最新科普書籍
回複【團體定製】，了解最新團體定製活動
回複【科普基地】，了解深圳科普基地詳情
回複【觀鳥星空体育官网入口网站】，學習觀鳥相關科普星空体育官网入口网站
回複【博物學院】，了解更多博物學院活動詳情
深圳市龍華區玉翠社區高坳新村小廣場
