為(wei) 保護用戶權益,防止賬號被盜,很多社交軟件都設置了人臉識別的登錄驗證環節。然而,這一驗證環節可能並不需要本人來操作,在湖北黃石就剛剛破獲一起用AI換臉技術解鎖社交賬號並倒賣獲利的詐騙案。

前段時間,湖北黃石的王先生偶然進入某炒股直播間,王先生添加了直播間推送的社交賬號後,跟對方一起進行股票投資。隨著投資金額不斷增加,當王先生想要提現時,發現對方的社交賬號因涉嫌詐騙已被凍結,資金無法取出。

受害人 王先生:一直取不出來,這個(ge) 時候就發現了不對,因為(wei) 他老是找各種理由讓你取不了錢。後來我發現他的社交賬號被凍結了。

警方在偵(zhen) 辦案件過程中,意外發現該涉案社交賬號突然解凍並重新登錄,推測可能有團夥(huo) 幫助詐騙嫌疑人解封了賬號。調查發現賬號IP所在地在河南,黃石警方在當地配合下,很快抓獲三名嫌疑人,現場查獲13台電腦、9部平板、119部手機和80張電話卡。經訊問,高某與(yu) 許某2023年9月底開始在網上販賣和幫他人解鎖社交賬號,通過AI換臉融合的動態視頻幫人解鎖一些被平台凍結的交友賬號。

湖北省黃石市公安局下陸分局指揮中心民警 王楚奇:他通過自己在網上購買(mai) 的一款視頻合成軟件,按照社交賬號要求解封作認證的這些規定動作,利用他自己的人臉和他合成的那個(ge) 視頻,生成的AI視頻上傳(chuan) 到社交賬號的後台,來進行認證。
據了解,這個(ge) 團夥(huo) 每解鎖一個(ge) 賬號收費15元至30元不等,其中許多賬號是因涉嫌詐騙被凍結的賬號。該團夥(huo) 共解凍了2107個(ge) 賬號,從(cong) 中獲利40萬(wan) 元。民警告訴記者,AI合成視頻已經成為(wei) 新型網絡詐騙的重要手段。

湖北省黃石市公安局下陸分局新下陸派出所治安巡防副隊長 張軍(jun) :不要將自己的身份證號、身份證頭像、手機號等等自己的隱私信息在網上進行暴露,加強自己的隱私信息的保護。

我們(men) 常說“眼見為(wei) 實”,但在AI時代,肉眼所看見的也不一定是真相。一些不法分子利用“AI換臉”技術實施詐騙,已成為(wei) 一種新型騙局。一張“肖像照片”、一段“貌似熟人的視頻”,都可能被不法分子利用作為(wei) 詐騙的手段和工具。

在工業(ye) 和信息化部反詐專(zhuan) 班的實驗室裏,技術人員向記者演示了兩(liang) 種常用的AI換臉技術。通過一張事先從(cong) 網絡上公開獲取的記者本人照片,經過一段時間的模型訓練。這張照片就能在演示者的控製下像真人一樣做出轉頭、張嘴、眨眼、微笑等表情和動作。

工業(ye) 和信息化部反詐工作專(zhuan) 班專(zhuan) 家 李坤:不法分子首先會(hui) 通過各種公開的渠道獲取受害人的個(ge) 人肖像或視頻,然後利用AI技術,對這些照片中的麵容特征進行學習(xi) ,從(cong) 而模仿眨眼、搖頭等動作,實現以假亂(luan) 真的效果。

李坤表示,除了讓照片上的人像活化,AI換臉技術還能實現在即時視頻通信狀態下的實時換臉。技術人員也通過AI換臉技術讓記者體(ti) 驗了一下與(yu) 另一個(ge) “自己”視頻對話的效果。

工業(ye) 和信息化部反詐工作專(zhuan) 班 技術人員:主要找了一些公開的社交媒體(ti) 平台,去拉取一些公共的視頻。拿了這些數據,整體(ti) 的訓練時間差不多花了1天,24小時達到目前這個(ge) 效果。 如果時間長點的話,我們(men) 畫麵的清晰會(hui) 有所提升。

技術人員告訴記者,所有用於(yu) AI換臉訓練的記者照片和視頻都是從(cong) 網上公開收集的,總共隻用了四五張照片和不到五分鍾的素材。如果有充足的訓練時間,仿真效果會(hui) 更好。除了麵容以外,聲音也可以通過同樣的技術來仿冒。專(zhuan) 家指出,雖然目前AI換臉和仿聲有一定的技術門檻和較高的實現成本,但如果被不法分子掌握,就可能在即時通信或者社交軟件上偽(wei) 裝成他人,開展相應的詐騙活動。

利用AI技術製作換臉視頻或合成聲音來實施詐騙的確讓人防不勝防,那麽(me) 如何防範這種風險呢?有關(guan) 部門正在開發相關(guan) 的反製技術和手段。

工業(ye) 和信息化部反詐專(zhuan) 班專(zhuan) 家 李坤:我們(men) 正在會(hui) 同行業(ye) 內(nei) 的手機終端企業(ye) ,將推出AI換臉詐騙風險提醒功能。這項功能僅(jin) 在手機端來本地運行,能夠有效保護用戶數據不泄露,經過用戶授權後,可為(wei) 用戶提供AI換臉詐騙風險預警提醒。

記者在反詐專(zhuan) 班的實驗室現場體(ti) 驗了正在測試中的AI換臉詐騙檢測與(yu) 預警技術。當用AI換了臉的技術人員與(yu) 記者發起視頻通話時,測試手機終端提示“對方疑似假冒身份”。點擊檢測按鈕,經過圖像掃描,係統提示“AI換臉合成概率93%”。
據了解,AI換臉主要是使用深度合成技術。《互聯網信息服務深度合成管理規定》提出了算法備案、安全評估的手段,要求深度合成服務提供者對深度合成的內(nei) 容添加顯式或隱式水印。

中國信通院人工智能所安全與(yu) 元宇宙部專(zhuan) 家 陳文弢:要對生成合成的內(nei) 容去添加一些水印,這個(ge) 水印的本質其實就是要一方麵去提示公眾(zhong) 這個(ge) 內(nei) 容是由AI生成或者合成的,另一方麵也是要追溯它的來源。
專(zhuan) 家提醒,AI詐騙是隱私信息泄露與(yu) 詐騙陷阱的結合,要加強對個(ge) 人隱私的保護,不輕易提供人臉、指紋等個(ge) 人生物信息給他人,不過度公開或分享動圖、視頻等,尤其涉及“朋友”“領導”等熟人要求轉賬、匯款的,務必通過多種途徑核實確認,不要未經核實隨意轉賬匯款。
(總台記者 孫薊濰 唐誌堅 徐之昊 孫麗(li) 鵬 黃石台)
來源:央視新聞客戶端
歡迎掃碼關(guan) 注深i科普!
我們(men) 將定期推出
公益、免費、優(you) 惠的科普活動和科普好物!


