近期，包括全紅嬋在內多位奧運冠軍的聲音被AI克隆，用到短視頻平臺冒充本人帶貨農產品，不少消費者因此誤信下單，引起社會廣泛熱議。隨著AI合成技術的普及，聲音和形象被AI合成濫用的情況正變得越來越多，對人們在網上購物或者了解相關信息帶來干擾。怎樣才能守住安全底線？《中國消費者報》記者對此展開了調查。

技術濫用催生亂象

當AI技術能完美復刻他人聲音，侵權行為便隨之泛濫。在網絡上，知名演員的“聲音”24小時不間斷在直播間與粉絲互動吸引打賞；多位配音演員發現多家公司在未經授權的情況下盜用其克隆聲音，用作企業宣傳視頻配音……配音演員武揚反映：“有一個牛肉火鍋店使用了我的聲音為宣傳片配音，但是相關的配音并非我本人錄制，對方也承認是以合作公司的一個干音（純配音）用AI訓練后生成的一個新的視頻。”

AI技術給人們帶來新奇娛樂體驗的同時，也可能被不法分子濫用，淪為實施精準詐騙的技術賦能工具。今年1月，微信平臺發布的公告顯示，一個月內，就處置了1.2萬條利用AI仿冒名人進行違規拼接、不當營銷和惡意博取流量的內容，關閉了3281個相關賬號。

北京互聯網法院近日審結一起涉AI深度偽造名人聲音帶貨的人格權侵權糾紛案件。法院認定AI合成聲音具備可識別性即可落入權利人聲音權益的保護范圍，未經權利人許可的使用構成侵權，商家委托平臺“達人”共同以推介商品為目的發布帶貨視頻、獲取相應收益，未盡到合理的審查注意義務。法院判決商家賠禮道歉并賠償損失。

資深人工智能專家郭濤在接受《中國消費者報》記者采訪時表示，該現象的本質是人工智能技術紅利與倫理風險失衡的典型表征。AI生成內容的高仿真性已突破傳統偽造的技術壁壘，使公眾陷入“眼見未必為實”的認知困境，直接沖擊社會信任體系。其危害不僅在于侵犯名人肖像權、聲音權等人格權并進行商業化盜用，更在于通過算法推薦機制形成惡性傳播鏈條，滋生虛假營銷、網絡詐騙等衍生犯罪。

工業和信息化部信息通信經濟專家委員會委員、國內知名數字經濟學者劉興亮在接受《中國消費者報》記者采訪時表示：“作為一項新技術，AI合成技術在業內統稱為深度偽造，本身并無價值傾向，其圖像/音視頻生成能力可用于數字人主播、虛擬教學等合規場景。從技術角度而言，這項新技術并不分好壞，只是人們常用的工具。但隨著這項技術普遍化，也可能被濫用于偽造信息、網絡詐騙等違法行為。當前公眾需區分兩類使用動機——普通用戶的技術嘗鮮應遵循相關規則，而有的人是違反了公序良知甚至突破法律紅線的惡意使用。”

與時俱進優化監管

流暢的視頻畫面、惟妙惟肖的神態、相同的說話語氣，如果沒有人主動告知，你能否分辨出是真人還是由AI生成的數字人？今年年初，一條關于張伯禮院士為某美白護膚品進行宣傳的帶貨視頻在互聯網上傳播。經核實后發現，該視頻是由AI偽造合成的。除此之外，張文宏、雷軍等多位公眾人物被不法分子靠AI技術合成聲音、視頻來虛假宣傳商品。

在AI技術深度融入日常生活的今天，當技術的進步已模糊了真實與虛擬的邊界，如何通過更有力的監管保障人們的合法權益，是一個值得思考的重要問題。

9月2日，抖音電商安全與信任中心發布了“關于加強治理AI內容濫用的公告”，稱少數商家和“達人”存在濫用或誤用AI技術的情況，甚至借助AI生成誤導內容，損害消費者合法經濟權益，擾亂平臺正常交易秩序。平臺已對違規視頻和賬號采取下架、清退等措施，并表示AI應用必須合規，任何誤用、濫用行為將被嚴厲打擊。

記者了解到，早在幾年前，多家視頻平臺便提出了發布人工智能生成內容時，需添加“內容由AI生成”標識的要求。但隨著AI技術的深入發展，有不少免費的AI軟件配置了鏡像文件功能，能一鍵生成虛擬人像，從而規避平臺的監測。

上海杉達學院數字商法研究中心研究員唐樹源在接受《中國消費者報》記者采訪時表示，AI內容監測與規避的技術對抗已形成螺旋式升級態勢。當前平臺主要依賴數字水印、內容特征分析等傳統技術識別AI生成內容，但生成式AI通過對抗樣本訓練、模型蒸餾等手段，可快速突破監測防線。破解困局需推動技術標準升級，如開發基于區塊鏈的不可篡改標識系統，同時建立跨平臺聯防聯控機制，形成從生成到傳播的全鏈條技術治理生態。

劉興亮認為，各個平臺對于AI內容監測的執行寬松度不一致，過去的標注是顯式標識，比如展現視頻是由AI生成或數字人出鏡的，但顯式標注容易被人篡改、裁剪等。因此，加強對隱式標識的管理尤為關鍵，可對包括數字剪映、原數據等表面上看不到的信息予以常態化監管，從而起到保障消費者合法權益、遏制違法犯罪的效果。

生成內容強制“打標”

“作者提示：內容為AI技術制作，虛構內容請謹慎甄別。”近期，有些消費者在刷短視頻時發現，不少短視頻下面都多了這樣一行小字。

9月1日，由國家互聯網信息辦公室、工業和信息化部、公安部、國家廣播電視總局聯合制定的《人工智能生成合成內容標識辦法》（以下簡稱《辦法》）正式施行。《辦法》要求，人工智能生成合成內容標識分為顯式標識和隱式標識兩種形式。顯式標識需以文字、聲音、圖形等方式明顯呈現，隱式標識則通過技術措施嵌入文件數據中。

在此背景下，多家短視頻平臺紛紛響應，相關用戶協議已修改升級，將嚴打對AI生成技術的濫用行為。其中，快手平臺已上線AI內容標識，會在AI生成的內容中添加“AI生成”顯式標識以及嵌入文件元數據中的隱式標識。如果用戶上傳的內容明確由AI生成或疑似由AI生成，平臺會在內容周邊進行顯著提示。

微信、小紅書等社交媒體平臺也更新了用戶協議，要求內容發布者以顯著方式主動標識AI生成內容。對于不主動標識AI生成內容的行為，部分平臺表示會采取限流、下架、封號等措施。

記者觀察到，在《辦法》實施后，市場上有觀點認為，只要按規定添加“AI技術制作”標識便可不受限制地隨意發布視頻內容。針對這一觀點，劉興亮表示，視頻內容標識制度的核心價值在于建立透明可追溯的創作生態。通過強制標注AI生成工具來源，既幫助消費者識別內容性質，又能追溯技術路徑。但需特別強調，這種標識是技術中立的記錄手段，創作者仍需對內容合法性負責——標注AI生成信息不能成為傳播虛假內容、侵犯隱私等違法違規行為的免責理由。