拆解AI造假四大套路：仿冒名人炮製新聞，換臉敲詐一鍵去衣

近日，有人用AI（人工智能）技術假冒知名醫生張文宏帶貨的消息衝上熱搜。15日，微信平台發布消息稱，針對“利用AI技術仿冒名人進行不當營銷”的情況進行了打擊，關閉賬號209個。AI作為一種新技術，麵世以來被應用到社會多個領域，但近年來也出現了不少利用AI進行違法犯罪的案例，包括仿冒名人、造謠、換臉詐騙、竊取隱私等等。涉及AI的套路有哪些？如何厘清背後的利益鏈條？遇上類似情況該如何識別？我們一起來看看。

仿冒名人：炮製視頻和聲音

近日，有網友發現賬號名為“般畫XXX”發布的一段視頻中，知名醫生“張文宏”正在售賣一種蛋白棒。然而，媒體調查發現，該視頻中口型和聲音像是張文宏，售賣行為卻非本人。經過核實，該視頻並非張文宏醫生本人拍攝，而是利用AI技術合成的虛擬人。據網友發布的截圖顯示，該蛋白棒產品已售出了1266份。事後，張文宏告訴央視記者，這樣的賣貨賬號不止一個，而且一直在變，他已多次向平台投訴。



知名醫生張文宏回應被AI仿冒帶貨。 央視財經截圖

被AI技術假冒的，張文宏不是首個“躺槍”者。今年國慶假期，短視頻平台上出現了大量“雷軍AI配音”的視頻，這些惡搞視頻在社交平台上的相關話題瀏覽量過億。視頻中，“小米CEO雷軍”銳評了堵車、調休、遊戲等熱門話題，言辭犀利，還常爆粗口。在事後接受采訪時，雷軍表示：“希望大家都不要玩了，這個事情不太好。”

今年11月，胖東來創始人於東來被人用AI技術生成聲音去賣藥，事後胖東來發布聲明進行了辟謠。

據報道，今年11月，江西一位老人到銀行辦理業務，聲稱要貸款200萬元給男朋友“靳東”拍戲。經調查發現，老人手機裏的“靳東”出自由AI合成的視頻。今年10月，老牌港星黃百鳴也通過社交媒體鄭重聲明，有人盜用其過去影片，利用AI替換聲音，代言一個不知名的藥膏品牌。

15日，微信平台發布消息稱：“近期有媒體報道，網絡存在利用AI技術仿冒名人進行不當營銷的現象。我們從速從嚴打擊了一批利用AI仿冒知名人士進行不當營銷、惡意博取流量的違規行為，並針對相關情況開展專項治理。截至目前，累計處置內容532條，關閉賬號209個。下一步，我們將持續對“利用AI仿冒知名人士進行營銷宣傳”等違規行為增 加打擊力度。”



微信近期處理的部分違規賬號。 “微信珊瑚安全”公眾號

炮製新聞：軟件幾秒鍾生成

當前，AI技術存在被濫用的情況，一些不法分子利用AI技術故意生成造謠內容並傳播。

公安部網安局公布一起案例：2023年12月，一條“西安市鄠邑區地下湧出熱水”的信息在網絡上大量傳播，出現如“地下出熱水是因為發生了地震”“是因為地下熱管道破裂”等謠言。經查，相關謠言是通過AI洗稿方式生成的。今年6月20日，上海警方也發布通報，兩名品牌營銷人員為蹭熱度吸引流量，使用AI軟件生成視頻技術，編造“中山公園地鐵 站捅人”等不實信息，相關人員已被行政拘留。

類似情況還有“濟南一高層住宅樓起火，多人跳樓逃生”“晨練大爺在濟南英雄山附近發現墳中有活人”……這些離譜的“重磅消息”引起大量關注，經有關部門調查，均係AI生成的謠言。

清華大學新聞與傳播學院新媒體研究中心今年4月發布的一份研究報告顯示，近兩年的AI謠言中，經濟與企業類謠言占比最高，達43.71%。近一年來，經濟與企業類AI謠言量增速高達99.91%，其中餐飲外賣、快遞配送等行業更是AI謠言重災區。

法治日報記者用市麵上流行的多款人工智能軟件測試發現，隻要給出關鍵詞，就能在幾秒鍾內生成一篇“新聞報道”，隻要加上時間地點，再配上圖片和背景音樂，一篇以假亂真的“新聞報道”便製作完成。記者發現，很多AI生成的謠言中，都夾雜著“據報道”“相關部門正對事故原因進行深入調查，並采取措施進行搶修”“提醒廣大市民在日常生活中要注意安全”等內容，在網上發布後人們往往難辨真偽。

中國人民大學新聞與社會發展中心研究員曾持說，AI根據熱點事件總結規律、拚接情節，很快就能製作出符合人們“預期”的謠言，傳播十分迅速。

換臉敲詐：有人被騙20萬元

近年來，各地出現了不少利用AI技術直接參與犯罪的案例，犯罪分子利用AI進行換臉、換聲，冒充他人進行詐騙，也有人利用AI竊取他人隱私。



馬某某接到假冒表哥的視頻電話。 央視新聞截圖

寧夏固原市居民馬某某接到表哥視頻電話求助後，毫不猶豫給對方指定賬戶轉了1.5萬元。事後，他給親戚發微信核實時才得知被騙，原來騙子通過AI換臉和擬聲技術，佯裝親戚對其實施詐騙。

AI技術實現“一鍵去衣”和換臉的功能還被不法分子利用，成為敲詐勒索的工具。去年夏季，山東威海居民王某收到“自己和一名女子的裸照”，對方說“我有你全部的影像資料，趕緊跟我聯係”，最後要求付款68萬元。在沒有多加核實的情況下，王某向敲詐團夥轉賬20萬元。今年1月，威海警方趕赴浙江將兩名犯罪嫌疑人抓獲歸案，為王某挽回了損失。



王某收到的敲詐信息。 央視新聞截圖

無獨有偶，今年6月，深圳市民吳先生也遇到類似騙局，收到“自己和一名女子的裸照”，對方要求轉賬。吳先生隨即報案，警方發現全市有同樣遭遇的不止吳先生一人，犯罪嫌疑人的敲詐勒索方式都如出一轍。經過調查，警方打掉一個通過AI換臉技術合成不雅照，實施敲詐勒索的犯罪團夥，抓獲嫌疑人10多人。

今年4月，北京市海澱區法院還審理了一起特殊的“製作、販賣淫穢物品”案。被告白某某利用AI軟件，對被害人的圖片“一鍵去衣”，幾秒鍾、幾分鍾就能批量生成相應的圖片。經查，他通過某款通訊軟件向351個人販賣相關圖片，圖片數量將近7000張。



白某某利用AI軟件對被害人的圖片“一鍵去衣”。 央視新聞截圖

今年9月，杭州警方公布了一起利用AI竊取民居隱私信息的案件。嫌疑人胡某某等四人，在境外網絡承接定向出售國內頭部平台用戶數據業務，使用境外多模態專用大模型，通過文字對話，輸出活體視頻，突破平台人臉認證，強製登錄他人賬號，獲取大量受害人私人數據和敏感信息並出售獲利。據悉，這是全國首起利用AI技術侵犯公民個人信息的 案件。

克隆聲音：網站當成生意做

利用AI技術進行犯罪，絕不是新技術的試錯或無心之舉，而是別有用心之人刻意利用新技術犯法亂紀，意圖獲取非法利益。

在上述北京發生的販賣“去衣”照片案件中，被告白某某在境外社交媒體上接觸到了這項“一鍵去衣”的技術，於是打算利用這項技術來賺錢，他在境外的社交媒體上發布了廣告，內容就是“去衣”，1.5元一張。他的廣告發布後，有不少人聯係白某某，給他發送照片並購買這項“去衣”服務。



白某某發布廣告，以1.5元一張銷售“去衣”照片。 央視新聞截圖

相關專家解釋，“去衣”照片並不是真的去掉別人照片上的衣服，其實是針對已有的模型和已有的模組進行圖片重繪。白某某不僅通過AI軟件製作裸體圖片販賣牟利，同時出售AI“去衣軟件”及使用教程牟利。短短幾個月的時間，白某某製作了幾千張去衣的圖片，賺了近一萬元錢。

另外，在多起AI造謠事件背後，造謠者的動機主要也是引流和借此牟利。今年6月中旬，一家MCN機構的實際控製人王某某利用AI軟件生成虛假新聞並大肆傳播，被警方行政拘留。據警方通報，王某某共經營5家MCN機構，運營賬號842個，自今年1月以來，他通過AI軟件生成虛假新聞，最高峰一天能生成4000至7000篇。另據西安警方介紹，他們查獲了某款AI軟件，“一天能生成19萬篇文章”。今年2月，上海警方發現，在一家電商平台上出現了某藝人“命運多舛、含恨離世”等短視頻，引發大量點讚和轉發。經查，該視頻內容係偽造。視頻發布者交代，他通過假新聞給自己經營土特產的網店賬號吸引流量，因自己不會視頻剪輯，便利用AI技術生成虛假文本和視頻。



雷軍曾發視頻回應遭AI配音惡搞。 網絡圖

在於東來、雷軍等人曝出聲音被克隆的消息後，有媒體記者搜索發現，網絡平台上有不少AI克隆聲音的教程視頻。記者登上某網站發現，該網站已有大量訓練好的聲音模板，包括雷軍、郭德綱、周傑倫、丁真等明星名人。其中，雷軍的AI聲音累計被使用的次數超過7萬次，丁真AI聲音模型使用次數超33萬次，位於榜首。

生成AI聲音十分簡單。記者測試發現，對於已有模型的AI語音，隻需輸入想要生成的語音文本，3秒鍾即可生成相應的音頻。沒有模型怎麽辦？根據該網站提示，隻需上傳最短10秒鍾的語音素材，不到1分鍾即可訓練出新的聲音模型，整個操作過程零技術門檻、零成本。也就是說，隻要獲取10秒鍾的語音，任何人的聲音都能被AI“偷走”，生成不實內 容。除了某些軟件和網站外，網絡購物平台上也有人工代做的服務銷售，稱“僅需一句話，克隆任何聲音，還原度99.99%”。

如何防範：注意麵部特征口型是否匹配

隨著AI技術的迅猛發展，AI生成的信息使得公眾難以辨別真偽。《2024年人工智能安全報告》顯示，基於AI的深度偽造欺詐在2023年激增30倍。那麽，普通人如何一眼識別換臉破綻，加以防範？中國網絡空間安全協會人工智能安全治理專業委員會委員張博表示，如今AI換臉技術已經比較成熟，甚至能夠實現視頻通話的實時換臉，雖然單憑肉眼很難分辨，不過隻要稍加留心，AI換臉還是有明顯破綻，漏洞就在麵部輪廓和光線上。

“視頻通話時要仔細觀察對方的麵部輪廓是否存在異常的模糊情況，光線是否正常。”張博說，“如果有必要的話，可以要求對方快速大幅度地抬頭、點頭、轉頭，然後仔細觀察這個過程中，麵部輪廓是否有異常模糊。”



專家教大家如何辨別AI換臉。 央視新聞截圖

那麽，我們又如何辨別AI換臉變聲呢？中國移動信息安全與管理運行中心副經理王曉晴表示，一方麵要檢查麵部特征，觀察表情、動作以及聲音和口型的匹配度；另一方麵，核實信息來源，讓對方用手遮住麵部或進行其他麵部動作判斷畫麵是否連貫。

預防個人隱私信息泄露，也需要網民日常注意。專家稱，不要泄露個人信息，尤其要注意圖像、聲音、指紋等生物信息的保護。AI換臉的數據基礎是被模仿人的照片、視頻等，個人公開在外的照片、視頻越多，意味著AI算法參考的數據越多，生成的“數字人”會更真實。在涉及資金交易等場景下，需要多留心眼，不輕易相信視頻、聲音。很多時候，傳統的識別方式要比技術識別更有效。

除了個人注意甄別和信息保護，我們也需要立法給AI技術應用套上法律韁繩。此前，我國已出台了《中華人民共和國網絡安全法》《互聯網信息服務算法推薦管理規定》《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》等法律、行政法規和部門規章。2023年，最高人民法院、最高人民檢察院、公安部聯合發布的《關於依法懲治網絡暴力違法犯罪的指導意見》中規定，對“利用‘深度合成’等生成式人工智能技術發布違法信息”的情形，依法從重處罰。

今年9月14日，國家網信辦起草的《人工智能生成合成內容標識辦法（征求意見稿）》，目前已完成社會意見征集。該辦法出台後，將進一步加強對AI生成技術的約束和規範，督促服務提供者和網絡平台承擔起應有的法律責任。上海人工智能研究院數字化治理中心主任彭嘉昊認為，麵對每天產出的大量視頻，監控、管理的難度相對而言比較大，約束這些服務的提供商才是綜合治理這類事件的核心動作。

新聞延伸

四招預防個人信息泄露

陌生WiFi不要連

在公共場合連接免費WiFi時，極易碰到不法分子搭建的山寨WiFi。

釣魚鏈接不要點

一些不法分子會假冒銀行、學校等機構給用戶發送短信或郵件，以“通知”“賬戶驗證”等名義誘導用戶點擊其中的網址鏈接。

不明二維碼不要掃

二維碼應用場景十分廣泛，而且製作簡單、真偽難辨，常常被不法分子用於傳播手機病毒和惡意軟件。

個人信息不要曬

機票、證書、照片等內容中包含姓名、身份證號、手機號、關鍵位置等個人信息，如果隨意曬在朋友圈等社交平台，可能會導致信息泄露。