離譜！美國AI冒充消息人士虛報謀殺案線索　隔兩月才被發現

香港文匯報訊 美國科企再爆出人工智能（AI）失控事件。據《華爾街日報》10月9日報道，美國費城警方日前收到AI企業Anthropic通知，表示旗下AI模型在7月一項涉及與隨機選取的網站互動測試期間，曾冒充掌握某宗謀殺懸案的消息人士，向該市政府網站提交虛假謀殺案線索。警方表示，這則標註日期為7月18日的線索，因被歸為垃圾信息而未轉交進一步調查，但這並不減損事件嚴重性。Anthropic在博客文章中亦強調，「雖然這宗案例影響有限，但我們不想淡化這類現象，因隨着模型變得更強大，相同的行為可能造成更大傷害。」

接獲通知後，警方憤怒地表示，「市政府對這宗事件高度重視。事隔兩個月才發現並通報，如此長的延誤令人無法接受，因未破案件涉及真實受害者、哀悼的家屬以及努力尋求真相的調查人員。科技公司必須採取一切適當措施，防止其系統向執法機關提交虛假信息。」

源於指示未排除提交表單

據報Anthropic於上月底發現此事，9天後通知費城警方，稱已終止包括該提交行為的自動化測試流程，並已建立額外驗證機制，能自動偵測並阻止這類行為。Anthropic表示，該公司在近日連串爆出AI失控案例後，自7月起持續對旗下AI模型行為紀錄進行審查，隨即發現此事件。Anthropic指出，旗下一個未公開的Claude模型進行訓練時，曾被指示填寫政府表格的練習副本，但多次被引導至存放真實表格的網站，進行填寫後提交。是次提交虛假謀殺案線索行為，源於該模型在一個提及未偵破案件的頁面上，注意到警方提供的線索提交表。

Claude填寫的內容，包括「我可能有關於這宗案件的消息。我記得在案發那段時間內，在『頁面上提到的街道』附近看到有人符合描述。若這些信息與案件有關，請與我聯絡。」但表單的姓名和聯繫方式一欄則留空。Anthropic表示，Claude被指示不得登入、建立賬號、輸入個人資料、購買或提交任何破壞性資料，但指示並未排除提交表單，故導致此意外結果。

Anthropic發文稱，是次假舉報是該公司近日揭露的連串AI模型失控行為之一，這些行為還涉及美國政府機構在聯邦、州及地方等層級營運的網站。此外，另有兩名知情人士透露，Anthropic的AI曾通過美國國務院網站上的表單，提交約20份簽證申請，不過這些申請均因資料不完備而未獲受理。

Anthropic稱已向白宮簡報這些案件，並通知各受影響機構。白宮日前新成立名為「超級智能（SI）部隊」的AI專責小組，成員包括AI事務主管克萊頓、聯邦貿易委員會主席弗格森、人事管理局局長庫珀及國防部技術長官麥克。他們表示已收到Anthropic就相關AI失控事件的通報，並期望其他AI業者若遇到類似事件，應立即通報，配合聯邦及州執法機關，並確保同類事件不再發生。

硅谷巨頭探討如何應對「AI災難」

香港文匯報訊 據美國新聞網Axios報道，人工智能（AI）業界巨頭包括OpenAI和Anthropic等主要AI公司領導人，正集體針對AI失控可能引發大規模網絡災難發出預警，並開始私下討論萬一發生「災難性事件」，應如何應對公眾壓力。

料將發生重大網絡災難

多名分析師和AI業界人士預計，AI失控在未來6至12個月內極可能引發重大網絡災難，導致銀行等金融系統、互聯網甚至電力及供水系統中斷。AI科企深切擔憂在危機發生後，公司領導人將成為社會、媒體和政府機構的眾矢之的，整個AI產業也將面臨「扼殺」，美國總統特朗普因其政策遲遲未對AI技術實施嚴格監管與限制，或也將面臨強烈聲討。

近期Anthropic、Google、OpenAI等AI行業巨頭紛紛爆出旗下AI模型失控網攻事件。其中OpenAI的智能體在測試中突破沙盒隔離，入侵Hugging Face服務器；Anthropic的Claude模型三度連接至開放互聯網，發動網攻竊取多個組織的憑證；更有小型安全技術公司憑Claude生成的攻擊代碼，僅用3小時便攻破OpenAI核心代碼庫。

Anthropic行政總裁阿莫戴已就此呼籲減緩AI發展速度、引入獨立監管，並建立全行業認同的安全標準。

該觀點獲OpenAI行政總裁阿爾特曼及SpaceX行政總裁馬斯克認同，前者已暫停訓練OpenAI最新模型，直至引入額外安全監督措施。