美公司披露3起AI模型在測試中入侵真實系統事件

美國人工智能企業Anthropic公司30日表示，在審查該公司網絡安全能力評估記錄後發現，其人工智能（AI）模型曾在網絡能力測試中未經授權訪問了3家機構的系統。在這3起事件中，涉事模型均是從第三方評估環境中或與第三方環境交互時獲得互聯網訪問權限。目前公司已暫停相關測試，並採取進一步安全措施。

美國開放人工智能研究中心近日披露，其模型在網絡安全測試中利用第三方軟件的「零日漏洞」突破與互聯網隔離的測試環境，未經授權侵入美國抱抱臉公司系統。

Anthropic30日在公司官網發文說，獲知這一情況後，該公司啟動此次回顧性審查，以確認自身網絡安全評估中是否存在類似問題。在審查約14.1萬次網絡安全能力評估記錄後，共發現3起相關事件，涉及6次測試運行，其中4次影響的是同一家機構。

Anthropic表示，這3起事件均發生在旨在評估人工智能網絡攻擊能力的「奪旗」任務中，測試提示明確告知模型其所處環境與互聯網隔離。但由於該公司與第三方評測合作夥伴以色列「非常規」人工智能公司之間出現溝通失誤，測試環境實際上仍連接到公共互聯網，導致模型誤將互聯網上的真實系統當作測試的一部分，並未經授權訪問了3家機構的「生產基礎設施」。

據介紹，涉事模型包括「克勞德-奧普斯4.7」、「克勞德-神話5」以及一個內部研究測試模型。相關模型利用弱密碼、未認證服務等常見安全弱點進入目標系統。Anthropic稱，在這3起事件中，相關模型僅完成了網絡安全評估指定的「奪旗」任務。目前沒有證據表明事件造成持續性損害，也未發現敏感信息被竊取或洩露。

Anthropic表示，已通知受影響機構，並已暫停所有可能接觸公共互聯網的網絡安全能力評估，對評估流程開展全面審查。該公司將據此進一步完善人工智能安全評估體系的監測和管控。

（來源：央視新聞）