為保護用戶權益，防止賬號被盜，很多社交軟件都設置了人臉識別的登錄驗證環節。然而，這一驗證環節可能并不需要本人來操作，在湖北黃石就剛剛破獲一起用AI換臉技術解鎖社交賬號并倒賣獲利的詐騙案。
前段時間，湖北黃石的王先生偶然進入某炒股直播間，王先生添加了直播間推送的社交賬號后，跟對方一起進行股票投資。隨著投資金額不斷增加，當王先生想要提現時，發現對方的社交賬號因涉嫌詐騙已被凍結，資金無法取出。
受害人 王先生：一直取不出來，這個時候就發現了不對，因為他老是找各種理由讓你取不了錢。后來我發現他的社交賬號被凍結了。
警方在偵辦案件過程中，意外發現該涉案社交賬號突然解凍并重新登錄，推測可能有團伙幫助詐騙嫌疑人解封了賬號。調查發現賬號IP所在地在河南，黃石警方在當地配合下，很快抓獲三名嫌疑人，現場查獲13臺電腦、9部平板、119部手機和80張電話卡。經訊問，高某與許某2023年9月底開始在網上販賣和幫他人解鎖社交賬號，通過AI換臉融合的動態視頻幫人解鎖一些被平臺凍結的交友賬號。
湖北省黃石市公安局下陸分局指揮中心民警 王楚奇：他通過自己在網上購買的一款視頻合成軟件，按照社交賬號要求解封作認證的這些規定動作，利用他自己的人臉和他合成的那個視頻，生成的AI視頻上傳到社交賬號的后臺，來進行認證。
據了解，這個團伙每解鎖一個賬號收費15元至30元不等，其中許多賬號是因涉嫌詐騙被凍結的賬號。該團伙共解凍了2107個賬號，從中獲利40萬元。民警告訴記者，AI合成視頻已經成為新型網絡詐騙的重要手段。
湖北省黃石市公安局下陸分局新下陸派出所治安巡防副隊長 張軍：不要將自己的身份證號、身份證頭像、手機號等等自己的隱私信息在網上進行暴露，加強自己的隱私信息的保護。
眼見不一定為實
單張照片可實時視頻換臉
我們常說“眼見為實”，但在AI時代，肉眼所看見的也不一定是真相。一些不法分子利用“AI換臉”技術實施詐騙，已成為一種新型騙局。一張“肖像照片”、一段“貌似熟人的視頻”，都可能被不法分子利用作為詐騙的手段和工具。
在工業和信息化部反詐專班的實驗室里，技術人員向記者演示了兩種常用的AI換臉技術。通過一張事先從網絡上公開獲取的記者本人照片，經過一段時間的模型訓練。這張照片就能在演示者的控制下像真人一樣做出轉頭、張嘴、眨眼、微笑等表情和動作。
工業和信息化部反詐工作專班專家 李坤：不法分子首先會通過各種公開的渠道獲取受害人的個人肖像或視頻，然后利用AI技術，對這些照片中的面容特征進行學習，從而模仿眨眼、搖頭等動作，實現以假亂真的效果。
李坤表示，除了讓照片上的人像活化，AI換臉技術還能實現在即時視頻通信狀態下的實時換臉。技術人員也通過AI換臉技術讓記者體驗了一下與另一個“自己”視頻對話的效果。
工業和信息化部反詐工作專班 技術人員：主要找了一些公開的社交媒體平臺，去拉取一些公共的視頻。拿了這些數據，整體的訓練時間差不多花了1天，24小時達到目前這個效果。 如果時間長點的話，我們畫面的清晰會有所提升。
技術人員告訴記者，所有用于AI換臉訓練的記者照片和視頻都是從網上公開收集的，總共只用了四五張照片和不到五分鐘的素材。如果有充足的訓練時間，仿真效果會更好。除了面容以外，聲音也可以通過同樣的技術來仿冒。專家指出，雖然目前AI換臉和仿聲有一定的技術門檻和較高的實現成本，但如果被不法分子掌握，就可能在即時通信或者社交軟件上偽裝成他人，開展相應的詐騙活動。
AI換臉詐騙檢測與預警技術正在測試中
利用AI技術制作換臉視頻或合成聲音來實施詐騙的確讓人防不勝防，那么如何防范這種風險呢？有關部門正在開發相關的反制技術和手段。
工業和信息化部反詐專班專家 李坤：我們正在會同行業內的手機終端企業，將推出AI換臉詐騙風險提醒功能。這項功能僅在手機端來本地運行，能夠有效保護用戶數據不泄露，經過用戶授權后，可為用戶提供AI換臉詐騙風險預警提醒。
記者在反詐專班的實驗室現場體驗了正在測試中的AI換臉詐騙檢測與預警技術。當用AI換了臉的技術人員與記者發起視頻通話時，測試手機終端提示“對方疑似假冒身份”。點擊檢測按鈕，經過圖像掃描，系統提示“AI換臉合成概率93%”。
據了解，AI換臉主要是使用深度合成技術。《互聯網信息服務深度合成管理規定》提出了算法備案、安全評估的手段，要求深度合成服務提供者對深度合成的內容添加顯式或隱式水印。
中國信通院人工智能所安全與元宇宙部專家 陳文弢：要對生成合成的內容去添加一些水印，這個水印的本質其實就是要一方面去提示公眾這個內容是由AI生成或者合成的，另一方面也是要追溯它的來源。
專家提醒，AI詐騙是隱私信息泄露與詐騙陷阱的結合，要加強對個人隱私的保護，不輕易提供人臉、指紋等個人生物信息給他人，不過度公開或分享動圖、視頻等，尤其涉及“朋友”“領導”等熟人要求轉賬、匯款的，務必通過多種途徑核實確認，不要未經核實隨意轉賬匯款。
