新聞周刊丨人工智能的濫用，到底怎么治？

聲音和形象被AI合成濫用的事兒正變得越來越多。比如本周，奧運冠軍全紅嬋、王楚欽等人的聲音被AI克隆，賣起了所謂的“土雞蛋”。不少配音演員也站出來維權(quán)，因為他們賴以生存的聲音，如今可以被AI一鍵復(fù)制，隨意地使用。

這不禁讓我們越來越擔(dān)心，當我們的聲音和面容到了如此輕易被人挪用的地步，人與人之間的信任該如何維系？AI的發(fā)展速度正越來越快，我們該如何用監(jiān)管和立法守住底線？《新聞周刊》本周關(guān)注：人工智能的濫用，到底怎么治？

AI換臉、聲音克隆等合成技術(shù)濫用

讓“耳聽眼見”未必為實

這是配音演員孫晨銘的原聲，而這段，是某自媒體賬號通過AI克隆其聲音生成的配音作品。如果沒有提示，誰能分辨出兩者之間的差異呢？也是在最近，孫晨銘還發(fā)現(xiàn)，一家房產(chǎn)公司同樣未經(jīng)授權(quán)，就對他的配音作品進行了AI克隆，用在了公司的企業(yè)宣傳片中。

聲音被AI克隆，并被用于各種各樣的商業(yè)場景，對于孫晨銘和同行們來說，已經(jīng)不是什么新鮮事兒。有人給孫晨銘發(fā)來民法典的法條，聲音權(quán)和肖像權(quán)一樣，是公民不可侵犯的權(quán)益。于是，不少配音演員自發(fā)到那條企業(yè)宣傳片的評論區(qū)集體留言，壓力之下，這家房產(chǎn)公司，向?qū)O晨銘支付了版權(quán)費用。

本周，本臺也曝光了利用AI技術(shù)仿冒奧運冠軍全紅嬋進行帶貨的案例。這種AI偽造技術(shù)，已讓不少名人深受其害。微信平臺今年1月的公告顯示，一個月內(nèi)，就處置了1.2萬條利用AI仿冒名人進行違規(guī)拼接、不當營銷和惡意博取流量的內(nèi)容，關(guān)閉了3281個相關(guān)賬號。

近日，北京互聯(lián)網(wǎng)法院也審結(jié)一起案件，被告擅自使用大學(xué)教師李女士的肖像和AI合成聲音進行圖書宣傳，最終法院判定，該行為侵犯了李女士的肖像權(quán)和聲音權(quán)益。

北京互聯(lián)網(wǎng)法院綜合審判三庭（少年法庭）庭長 顏君：往往這種案件的受侵害的一方都是有一定社會知名度的名人，因為他會帶來相應(yīng)的社會認可度、認知度，他的聲音和他的肖像有一定的商業(yè)利用價值。更重要的是如果這個帶貨的內(nèi)容，比如說帶的是偽劣產(chǎn)品或者是虛假宣傳的內(nèi)容，有可能極大的消解這位名人他的社會認知度、認可度和信任度。

這段AI視頻，生成于兩年前，當時的技術(shù)，人臉畫面還顯得僵硬與不自然；而到了去年7月，南京玄武區(qū)法院審理的案件中，一名男子通過AI換臉軟件，就成功突破了某支付平臺的人臉識別系統(tǒng)。人工智能技術(shù)的飛速發(fā)展，已經(jīng)使真與假之間的界限，開始變得難以分辨。

配音演員 武揚：從今年開始，我確實發(fā)現(xiàn)一些宣傳片，他們AI的訓(xùn)練可以達到以假亂真的程度，在70%到80%的平穩(wěn)敘述的范疇里面，AI都是可以處理得很好的，甚至我本人去聽也需要長時間辨別，是不是我本人錄的。

中國信通院人工智能所安全部高級業(yè)務(wù)主管 陳文弢：其實對于生成一個肉眼分辨不出來的這種視頻，在前幾年來說，難度是比較高的，需要一定的技術(shù)門檻，但是這幾年出現(xiàn)了一些這種簡捷化的工具，可以從開源社區(qū)上直接下載。它可以用消費級的筆記本單機來部署，一張照片就能夠完成實時換臉。

耳聽為虛，眼見為實，這句古話正面臨巨大挑戰(zhàn)。AI換臉、聲音克隆等合成技術(shù)的濫用，讓“耳聽眼見”都未必為實。對于配音演員孫晨銘來說，AI濫用直接影響到他的生計，賴以謀生的聲音，正成為被隨意復(fù)制的免費素材。迎面而來的AI時代，讓他看不清自己的未來將通向何方。

我們正在進入“全民AI時代”

監(jiān)管能不能夠跟得上呢？

如今，AI合成視頻已經(jīng)能做到以假亂真，不得不需要新的技術(shù)來辨別。技術(shù)成熟的速度令人驚嘆，而使用門檻也大幅降低。一部手機、幾個軟件，普通人就能輕松生成文字、圖片、音頻、視頻等各類內(nèi)容?？梢哉f，我們正在進入一個“全民AI時代”。

然而，技術(shù)的普及勢必會帶來AI的濫用：從人臉和聲音被合成冒用，到各類低俗獵奇視頻的傳播，再到漫天謠言的背后，AI都成了核心“推手”。每隔一段時間，新的問題就會涌現(xiàn)。所以，在技術(shù)開始狂奔的局面下，我們需要關(guān)注監(jiān)管，能不能夠跟得上呢？

精致的五官、靈動的眼神、流暢的動作，如果沒有相關(guān)標注，你是否能分辨出，這是一個完全由AI生成的數(shù)字人？在短視頻平臺，類似的視頻比比皆是，還有不少視頻，直接提供免費的AI軟件以及使用教程。

一部手機、兩三個 AI 軟件，幾分鐘就能制作一段時長五秒左右的美女跳舞視頻。AI生成合成技術(shù)的飛速發(fā)展，正在累積著治理風(fēng)險。去年，抖音安全中心曾發(fā)布公告，表示已發(fā)現(xiàn)多種不當使用AI技術(shù)生成虛擬人物的行為，其中就包括利用AI生成俊男美女虛假形象，騙取互動，將用戶導(dǎo)流至私人聊天工具，甚至進行詐騙。根據(jù)抖音平臺本周五提供的數(shù)據(jù)，他們最近一周處置的AI虛假違規(guī)內(nèi)容量，相比2025年第一周，增長了62%。

事實上，從2023年開始，抖音等多家平臺陸續(xù)要求，發(fā)布人工智能生成內(nèi)容時，需添加“內(nèi)容由AI生成”的標識，并且也會進行監(jiān)測和處置。但是，執(zhí)行效果并不盡如人意。并且有自媒體博主表示，一些平臺的監(jiān)測手段可以破解，比如一些AI工具配置有鏡像文件，其一鍵生成的虛擬人像，就能規(guī)避平臺的監(jiān)測。

自媒體博主：很少。你看我作品我十四個里面就一兩個會有。如果它給你出判定為AI作品，你可以把作品下架，然后再重新發(fā)一個。

中國信通院人工智能所安全部高級業(yè)務(wù)主管 陳文弢：如果說打上了這個標識，你只看可能就覺得它是由AI生成的，可能就不是特別的可信，所以這是從用戶的角度，他是不愿意打這個標的。從技術(shù)的這個角度來看，如果說想完全滿足監(jiān)管的這個要求，把所有的生成合成的視頻都識別出來，這個其實難度還是很大的。

相比視頻、圖像，在專家看來，AI生成的文字謠言，監(jiān)管起來其實更加困難。去年，江西南昌就破獲一起AI造謠案件，相關(guān)機構(gòu)利用AI軟件，一天最多能生成4000—7000篇謠言文章，工作量驚人。更讓人擔(dān)憂的是，AI算法還能匹配用戶喜好，定制化的生成謠言，使AI謠言變得越來越真假難辨。今年3月，某自媒體賬號發(fā)布全國首例“AI醫(yī)療誤診”訴訟案開庭的文章，時間、地點、人物甚至庭審爭議焦點等細節(jié)滿滿，不過，經(jīng)過記者與法院核實，所有內(nèi)容都是AI編造的假信息。

目前，盡管一些平臺設(shè)置了相應(yīng)“謠言庫”，通過設(shè)置熱點關(guān)鍵詞來屏蔽謠言。但一些機構(gòu)利用AI模型針對性地進行對抗訓(xùn)練，使用近義詞或類似表達，就可以繞過篩查。

今年4月以來，中央網(wǎng)信辦開展了為期三個月的“清朗·整治AI技術(shù)濫用”專項行動，AI換臉擬聲、AI內(nèi)容標識缺失等亂象，都是整治重點。6月，網(wǎng)信辦公布專項行動第一階段成果，累計處置違規(guī)小程序、應(yīng)用程序、智能體等AI產(chǎn)品3500余款，清理違法違規(guī)信息96萬余條，處置賬號3700余個。如今，三個月的專項行動已經(jīng)結(jié)束，但監(jiān)管與AI濫用之間的拉鋸戰(zhàn)，顯然才剛剛開始。

聯(lián)合國高級別人工智能咨詢機構(gòu)中方專家 中國政法大學(xué)數(shù)據(jù)法治研究院教授 張凌寒：我們可能更要設(shè)定一個目標，就是能夠在AI應(yīng)用爆發(fā)之后，我們在這幾年要把整個AI濫用生成虛假內(nèi)容實現(xiàn)在一個可控的范圍之內(nèi)。這個可控的范圍是指說我們不能夠讓廣大老百姓因為這個去發(fā)生重大的人身財產(chǎn)的損失，同時也要盡量減少這種AI的內(nèi)容虛假宣傳造成社會輿論的動蕩。這是我們的一個紅線和底線。

“內(nèi)容由AI生成”

能改變AI濫用的現(xiàn)狀嗎？

人工智能，正以前所未有的速度改變世界，它不僅是科技創(chuàng)新的前沿，更是國家間戰(zhàn)略博弈的新高地。相關(guān)產(chǎn)業(yè)的發(fā)展固然重要，但通過監(jiān)管和立法為它劃定邊界，也同樣顯得十分緊迫。因為科技的進步本身并不足以確保人類的進步，更重要的是通過規(guī)則為它校準方向。

說到規(guī)則，關(guān)于AI合成內(nèi)容，幾天后的9月1日，網(wǎng)信辦等四部門印發(fā)的《人工智能生成合成內(nèi)容標識辦法》將開始施行，它明確規(guī)定服務(wù)提供者，應(yīng)當對文本、音頻、圖片、視頻等生成合成內(nèi)容，在適當位置添加顯式標識，也就是說今后所有AI作品必須亮明身份，標注是AI生成。它的實施，能改變當下AI出現(xiàn)濫用的現(xiàn)狀嗎？

在某短視頻平臺上，一條生成式視頻的左下角“標注著”作者聲明：內(nèi)容由AI生成，而這樣的標注義務(wù)，在即將于9月1日實施的《人工智能生成合成內(nèi)容標識辦法》中，得以進一步明確，在人工智能生成合成內(nèi)容的全生命周期，都要履行標識義務(wù)。

北京抖音信息服務(wù)有限公司副總編輯 全森：這個標識辦法要求AI技術(shù)服務(wù)提供者，對文件（元數(shù)據(jù)）內(nèi)容進行隱式標識。這樣一個核心的鏈路解決了最大的卡點，這個卡點就是技術(shù)服務(wù)平臺與內(nèi)容傳播平臺之間，數(shù)據(jù)難以互通的一個卡點。解決了這個卡點之后，我們預(yù)計很大程度上解決了這個AI難以識別的問題。

馬上就要實施的這個《標識辦法》，從人工智能生成合成內(nèi)容的生產(chǎn)、傳播和使用等環(huán)節(jié)入手，對標識制度進行了系統(tǒng)性的細化和規(guī)范。而隨著深度合成技術(shù)日益逼真，逃避審查的手段不斷升級，人工識別的難度越來越高，相應(yīng)的法規(guī)和機制，也需要不斷應(yīng)對挑戰(zhàn)。

推進生成式人工智能標識制度的建立，已經(jīng)成為世界各國的共識。而在專家看來，中國在該領(lǐng)域的立法起步相對較早，2023年施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》，就在世界范圍內(nèi)，在相關(guān)法規(guī)中首次明確提出生成式人工智能標識義務(wù)。

在專家看來，即將實施的《標識辦法》，還只是一個規(guī)范性文件，在整個立法體系中位階較低。如果站在更高的維度觀察人工智能立法，安全、隱私、公平等都是必須直面的核心問題。今年，人形機器人行業(yè)進入快車道，機器人逐漸與人實現(xiàn)面對面，甚至是接觸式交流。在深圳的一家養(yǎng)老機構(gòu)，養(yǎng)老機器人，不僅可以帶老人跳舞，扶著走路，還能陪打乒乓球、遞水等，可謂多才多藝。面對著養(yǎng)老新朋友，有老人既興奮又擔(dān)心，機器人真的安全嗎？

經(jīng)過多年探索，我國已初步構(gòu)建起涵蓋多層次、多維度的人工智能法律框架，但仍需要一部具有統(tǒng)領(lǐng)性的人工智能高位階立法，予以統(tǒng)一規(guī)范。在國務(wù)院公布的2024年度立法工作計劃中，曾明確“預(yù)備提請全國人大常委會審議人工智能法草案”，而《全國人大常委會2025年度立法工作計劃》的相關(guān)表述則是，“人工智能健康發(fā)展等方面的立法項目，由有關(guān)方面抓緊開展調(diào)研和起草工作，視情安排審議”，顯然，一部中國的人工智能法，正在加緊推進之中。

對于人工智能，有人把它比作是潘多拉魔盒，在釋放出無限可能的同時，也會帶來難以預(yù)知的風(fēng)險。

而前不久在上海舉辦的世界人工智能大會上，圖靈獎得主辛頓的演講，也在提醒所有人，要對AI保持足夠的警覺。他把人類與AI的關(guān)系，比作飼養(yǎng)一只老虎，老虎長大后可能輕易超越人類，而且人類沒有擺脫和消除它的選項，人類想要生存，必須找到辦法訓(xùn)練AI。而如何訓(xùn)練出比人更聰明的“好AI”，是我們從來沒有遇到過的巨大的機會和挑戰(zhàn)。

正如中國那句老話，“人無遠慮，必有近憂”，在AI的問題上，我們必須要看得更遠，才能走得更好。

編導(dǎo)丨張大鵬 李昕璘 馬詣宸