加州人工智慧政策報告警告「不可逆轉的危害」

(SeaPRwire) –   加州州長Gavin Newsom委託撰寫的一份新報告警告說，雖然人工智慧可以帶來變革性的好處，但在沒有適當保障措施的情況下，它可能會促成核武和生物威脅，並造成「可能無法逆轉的損害」。

該報告於6月17日發布，內容指出：「建立有效的人工智慧治理框架的機會可能不會無限期地保持開放。」報告引用了新的證據，表明人工智慧可以幫助用戶找到核級鈾，並且即將讓新手創造生物威脅，因此，目前不作為的代價可能「極高」。

這份53頁的文件源於州長Newsom設立的一個工作小組，加州已成為人工智慧立法的一個中心舞台。由於聯邦層面沒有全面的監管，因此州級政府管理這項技術的努力變得格外重要，尤其是在加州，這裡聚集了許多世界頂尖的人工智慧公司。2023年，加州參議員Scott Wiener發起了一項名為SB 1047的法案，該法案要求大型人工智慧開發商對其系統進行嚴格的安全測試和緩解措施，但批評人士擔心這會扼殺創新並扼殺開源人工智慧社群。儘管產業界強烈反對，但該法案還是通過了州議會兩院，但州長Newsom最終在去年9月否決了該法案，稱其「用心良苦」，但並非「保護公眾的最佳途徑」。

在否決該法案後，Newsom啟動了該工作小組，以「為部署GenAI制定可行的護欄」。該小組由「人工智慧教母」李飛飛（Fei-Fei Li）共同領導，她是SB 1047的一位著名的批評者，另一位共同領導者是國家科學院計算研究社會與倫理影響委員會成員Mariano-Florentino Cuéllar，以及加州大學柏克萊分校計算、數據科學與社會學院院長Jennifer Tour Chayes。該工作小組評估了人工智慧的進展、SB 1047的弱點，並徵求了60多位專家的意見。「作為全球人工智慧創新的中心，加州具有獨特的優勢，可以引領釋放前沿人工智慧的變革潛力，」李飛飛在一份聲明中表示。「然而，要實現這一承諾，需要以人為本的價值觀、科學嚴謹性和廣泛的合作為基礎，進行深思熟慮和負責任的管理。」

報告指出：「自州長Newsom去年9月否決SB 1047以來，基礎模型的能力迅速發展。」該產業已從僅預測文本流中下一個單詞的大型語言人工智慧模型，轉向經過訓練來解決複雜問題的系統，並受益於「推理擴展」，這使它們有更多時間來處理資訊。這些進展可以加速科學研究，但也可能通過使不良行為者更容易進行網路攻擊或獲取化學和生物武器，從而加劇國家安全風險。該報告指出，Anthropic上個月剛發布的Claude 4模型，該公司認為可能能夠幫助潛在的恐怖分子製造生物武器或設計一場大流行病。同樣，OpenAI的o3模型據報導在關鍵評估中優於94%的病毒學家。

近幾個月來，新的證據表明人工智慧有能力，在訓練期間表現出與其創造者的目標一致，但在部署後顯示出其他目標，並且會操縱人類來實現其目標，報告稱。報告說，雖然「目前是良性的，但這些發展代表了具體的經驗證據，證明了可能對衡量失控風險構成重大挑戰的行為，並可能預示著未來的危害」。

雖然共和黨人已提議對所有州級人工智慧監管實施10年禁令，理由是擔心分散的政策環境可能會阻礙國家競爭力，但該報告認為，加州有針對性的監管實際上可以通過為其他州提供藍圖，同時確保公眾更安全，從而「減少開發商的合規負擔，並避免採取拼湊的方法」。該報告沒有提倡任何具體的政策，而是概述了工作小組認為加州在制定未來立法時應採取的關鍵原則。卡內基國際和平基金會科技與國際事務項目訪問學者、該報告的主要撰寫人Scott Singer表示，該報告「避開」了SB1047的一些更具爭議的條款，例如要求設置「關閉開關」或關閉機制，以便在可能造成損害時快速停止某些人工智慧系統。

相反，該方法側重於提高透明度，例如通過法律保護舉報人並建立事件報告系統，以便立法者和公眾可以更好地了解人工智慧的進展。報告的共同領導者Cuéllar表示，目標是「收穫創新的好處。讓我們不要設置人為的障礙，但同時，隨著我們的進步，讓我們思考我們正在學習的關於技術行為方式的知識」。該報告強調，這種可見性不僅對於面向公眾的人工智慧應用至關重要，而且對於了解系統如何在人工智慧公司內部進行測試和部署也至關重要，因為令人擔憂的行為可能首先在那裡出現。

Singer表示，「這裡的根本方法是『信任但驗證』，」這個概念借鑒自冷戰時期的軍備控制條約，其中涉及設計獨立檢查合規性的機制。這與現有的努力有所不同，現有的努力取決於公司的主動合作，例如OpenAI和 Center for AI Standards and Innovation (formerly the U.S. AI Safety Institute) 之間達成的進行部署前測試的協議。Singer表示，這種方法承認「產業內部存在大量的專業知識」，但「也強調了獨立驗證安全聲明的各項方法的重要性」。

“`