AI會讓人類出局嗎？

加州大學伯克利分校AI研究員邁克爾·科恩。（資料圖/圖）

迅猛發展的AI已經展示出了巨大的潛力，但另一方面，從2023年初開始，一些科學家和研究人員多次公開呼吁，人們關注先進AI可能給人類和社會帶來的嚴重風險。

一些特別的風險來自那些功能強大的通用AI模型。由于對它們的能力缺乏充分了解，且難以預測，潛在的主觀誤用和意外的失控產生的風險尤其不可忽視。為系統性地探討先進AI風險的治理，2024年4月，加州大學伯克利分校AI研究員邁克爾·科恩（Michael K. Cohen）等人在《科學》雜志專門發表研究，分析了先進AI的獨特風險問題，及其可能的治理架構。在他看來，相比被設計用來執行即時任務的AI，那些有長遠規劃的智能體，為了得到特定的獎勵，可能會在很長的一段時間里錨定特定目標，不斷追求獎勵的最大化，從而帶來不可預知的風險，甚至在某個時間將人類踢出局。

AI真的會導致諸如文明毀滅之類的結局嗎？我們又該如何理解和應對AI在當前和未來可能給人類帶來的風險？最近，邁克爾·科恩接受南方周末記者專訪，對相關問題進行了分析。

科幻故事可能成真

南方周末：早在2023年2月，你就曾提出，我們應該禁止人們訓練非常先進的人工智能體，但因為AI還沒有這么先進，所以這樣的規定并不是必須馬上施行。然而，AI一直在快速發展，你覺得我們現在距離那些足夠先進且危險的人工智能體還有多遠？

邁克爾·科恩：可惜，我也不知道我們離那些先進到足以擺脫人類控制的AI智能體還有多遠。不過，這并不意味著現在開始專注于降低風險顯得為時過早。最后期限不確定其實意味著我們最好現在就開始行動。

南方周末：那你現在是怎么使用AI應用的呢？會有什么風險方面的擔憂嗎？

邁克爾·科恩：我經常向AI應用Claude問一些難搜索的問題答案，比如“從事件視界落入黑洞需要多長時間？”或者“加州政府通過了哪些不同的決議？”我也經常讓Claude幫我校對文件。我覺得它幫助我更有效地潤色了文字。至于風險方面的擔憂，我姑且相信Anthropic公司會將我和Claude的談話保密，不會拿來訓練未來的模型吧。我寧愿AI系統在不久的將來不要太了解我，但我覺得這種想法可能注定要落空。

南方周末：據你觀察，現有的AI智能體總體上有哪些風險？

邁克爾·科恩：對于今天任何特定的風險，政府大都有能力通過法律，迫使人們改變AI的訓練和部署方式。但有一個例外，那就是開源AI。開源AI系統是對社會的永久性添加。政府不可能追