美國加利福尼亞州總檢察長羅布·邦塔16日通報，已於當天向美國企業家埃隆·馬斯克旗下人工智能企業xAI發送禁止令，要求其開發的人工智能聊天機器人「格羅克」立即停止在未經當事人同意情況下生成和散播女性和兒童色情內容的行為，同時限期提交整改措施。
近幾周，馬斯克旗下社交媒體平台和人工智能企業因涉及AI生成色情內容遭到國際多方強烈譴責，加州這一禁止令使其所受壓力繼續加碼。
據美國科技新聞媒體TechCrunch報道，加州總檢察長辦公室還在聲明中說，有跡象顯示xAI「未經當事人同意、為大規模生成裸露內容提供便利」，相關內容被用於「在互聯網上騷擾成年和未成年女性」。該辦公室要求xAI在今後5天內提供材料證明該公司正採取整改措施。
本周早些時候，加州州長加文·紐森指責xAI「居心險惡」，縱容深度偽造的性剝削內容在網上氾濫，他已敦促加州檢察機關就xAI是否違反加州法律展開調查，若經查屬實必追究其法律責任。
「格羅克」由xAI公司開發，並內置於馬斯克擁有的社交媒體X平台，可供用戶直接調用。最近數周，X平台出現部分用戶利用「格羅克」的所謂「熱辣模式」，篡改真人圖像、生成深度偽造的裸露內容，並在X平台上散播，受害者包括數百名女性與未成年人。
歐盟以及英國、法國、印度、巴西、澳大利亞等國強烈譴責「格羅克」涉嫌生成色情內容，部分國家的監管機構已介入調查或要求整改。印度尼西亞、馬來西亞和菲律賓則已限制本國用戶訪問「格羅克」。
另據美聯社報道，馬斯克曾經的伴侶阿什莉·聖克萊爾15日在美國紐約市起訴xAI公司，指控該公司允許用戶利用「格羅克」偽造其裸露圖像。聖克萊爾是X平台一名活躍「網紅」，有100萬「粉絲」。她說，自己去年發現那些偽造圖像後就報告X平台並要求刪除，而平台一開始回覆說那些圖像不違反平台政策，後來承諾未經她同意不會允許他人使用或篡改相關圖像，但卻撤銷了她的X平台高級會員認證資格，不許她借賬號營利，同時繼續縱容散播偽造圖像。
X平台和xAI暫時未就加州禁止令置評。在外界輿論壓力下，這兩家公司近來收緊了針對「格羅克」的管控措施，但其方式引發爭議。
上周，xAI公司將「格羅克」的圖像生成和編輯功能更改為僅對付費用戶開放，輿論指責該公司將問題「金錢化」，而非真正解決問題。本周早些時候，X平台宣布將禁止所有用戶利用「格羅克」生成基於真人的偽造裸露圖像。然而，路透社記者測試後發現，截至美國東部時間16日中午，「格羅克」仍能夠根據用戶需要、私密地生成色情圖片。
近年來，隨着AI大模型快速發展，利用AI技術換臉換聲、生成深度偽造內容並在網上傳播的情況時有發生。業內專家學者認為，AI深度偽造治理涉及模型算法安全性評估、對利用AI工具生成有害內容行為的管理等多方面，需要建立「全鏈條式」治理體系。
（來源：新華社）
0
已點過讚
0 / 255