如何解決AI的“既要又要還要”問題？丨科創要聞

作為新一輪科技革命和產業變革的核心技術，AI的安全性問題正在全球引發新一輪大討論。

隨著越來越多的公司致力于開發自主AI，惡意行為者可能會故意在其中植入不良目標，善意開發者也可能在無意中創造出追求非目標的AI系統。

5月20日，英國政府下屬的人工智能安全研究所（AISI）發布的報告顯示，參與測試的四個大語言模型“極易受到基本越獄攻擊”的影響，更有一些模型在被越獄之前，就主動生成了“有害”內容。

AI勢不可擋，既要兼顧競爭和發展，又要創新，還要安全，人類要怎么辦？

5月20日，圖靈獎得主 Yoshua Bengio、Geoffrey Hinton 和姚期智等25位全球AI領域專家在《Science》發表專家共識文章Managing extreme AI risks amid rapid progress。

專家們指出，AI能力和自主性的提高可能會大規模擴大其影響和風險，包括大規模社會危害、惡意使用以及人類對自主AI系統不可逆轉的失控。而目前AI的安全研究滯后，治理舉措缺乏防止濫用和魯莽行為的機制和機構。

借鑒其他安全關鍵技術的經驗教訓，專家們概述了一項綜合計劃，將研發與積極主動、實用性強的治理機制相結合，以做好更充分的準備。

這一計劃包括調整技術研發方向，如果確保安全仍然過于困難，就需要采取極端的治理措施，以防止在競爭和過度自信的驅使下走彎路。同時，我們迫切需要國家機構和國際治理來執行防止魯莽和濫用的標準。

5月21日，在由韓國和英國聯合主辦的第二屆人工智能安全峰會上，出席領導人會議的與會者聯合發布了《關于安全、創新和包容的人工智能的首爾宣言》，呼吁加強國際人工智能治理合作以及治理框架之間的互操作性，支持啟動首個國際人工智能安全研究所網絡，促使國家之間形成對人工智能安全的共同理解，并在研究、標準和測試方面進行協調。

會議期間，微軟、OpenAI等16家AI科技公司作出“前沿人工智能安全承諾”，保證在開發最前沿的AI技術時注重安全，確保AI系統不會失控并危害人類。如果發現某些極端風險無法控制，會選擇停止相關AI模型的開發。

同日，歐盟理事會正式批準了《人工智能法》（AI Act），這是全球首部關于AI的全面法規。

該法案根據風險對不同類型的AI進行了