Anthropic旗下模型冒充消息人士 事隔兩月才被發現 美AI虛報謀殺案線索激怒警方

香港文匯報訊 美國科企再爆出人工智能（AI）失控事件。據《華爾街日報》10月9日報道，美國費城警方日前收到AI企業Anthropic通知，表示旗下AI模型在7月一項涉及與隨機選取的網站互動測試期間，曾冒充掌握某宗謀殺懸案的消息人士，向該市政府網站提交虛假謀殺案線索。警方表示，這則標註日期為7月18日的線索，因被歸為垃圾信息而未轉交進一步調查，但這並不減損事件嚴重性。Anthropic在博客文章中亦強調，「雖然這宗案例影響有限，但我們不想淡化這類現象，因隨着模型變得更強大，相同的行為可能造成更大傷害。」

接獲通知後，警方憤怒地表示，「市政府對這宗事件高度重視。事隔兩個月才發現並通報，如此長的延誤令人無法接受，因未破案件涉及真實受害者、哀悼的家屬以及努力尋求真相的調查人員。科技公司必須採取一切適當措施，防止其系統向執法機關提交虛假信息。」

源於指示未排除提交表單

據報Anthropic於上月底發現此事，9天後通知費城警方，稱已終止包括該提交行為的自動化測試流程，並已建立額外驗證機制，能自動偵測並阻止這類行為。Anthropic表示，該公司在近日連串爆出AI失控案例後，自7月起持續對旗下AI模型行為紀錄進行審查，隨即發現此事件。Anthropic指出，旗下一個未公開的Claude模型進行訓練時，曾被指示填寫政府表格的練習副本，但多次被引導至存放真實表格的網站，進行填寫後提交。是次提交虛假謀殺案線索行為，源於該模型在一個提及未偵破案件的頁面上，注意到警方提供的線索提交表。

Claude填寫的內容，包括「我可能有關於這宗案件的消息。我記得在案發那段時間內，在『頁面上提到的街道』附近看到有人符合描述。若這些信息與案件有關，請與我聯絡。」但表單的姓名和聯繫方式一欄則留空。Anthropic表示，Claude被指示不得登入、建立賬號、輸入個人資料、購買或提交任何破壞性資料，但指示並未排除提交表單，故導致此意外結果。

Anthropic發文稱，是次假舉報是該公司近日揭露的連串AI模型失控行為之一，這些行為還涉及美國政府機構在聯邦、州及地方等層級營運的網站。此外，另有兩名知情人士透露，Anthropic的AI曾通過美國國務院網站上的表單，提交約20份簽證申請，不過這些申請均因資料不完備而未獲受理。

Anthropic稱已向白宮簡報這些案件，並通知各受影響機構。白宮日前新成立名為「超級智能（SI）部隊」的AI專責小組，成員包括AI事務主管克萊頓、聯邦貿易委員會主席弗格森、人事管理局局長庫珀及國防部技術長官麥克。他們表示已收到Anthropic就相關AI失控事件的通報，並期望其他AI業者若遇到類似事件，應立即通報，配合聯邦及州執法機關，並確保同類事件不再發生。