總部位於三藩市的人工智能公司Anthropic呼籲，全球應暫停開發最強大的人工智能系統。該公司警告，最新的AI模型已開始顯示出可能逃脫人類控制的跡象，並可能引發「遞歸自我改進」的風險。
- 暫停提議：建議全球放緩或暫停尖端AI開發，讓社會規範與安全研究能跟上技術進步。
- 全球協調：真正的暫停需美國、中國等多國主要AI公司共同遵守可驗證的規則。
- 失控風險：內部數據顯示AI正加速自身發展，可能導致「遞歸自我改進」，即AI在無人類協助下自我進化。
- 業界反對：部分業界人士與白宮官員認為，此舉誇大了風險，是以安全為由減緩競爭的策略。
- 美國行動：美國總統特朗普已簽署行政命令，要求對最強大的美國AI模型進行發布前審查。
憂AI自我進化 人類角色縮小
Anthropic在報告中指出，呼籲協調的同時，內部數據顯示人工智能已在大幅加速AI本身的開發。該公司警告，這種加速創造了一個反饋循環，最終可能導致研究人員所說的「遞歸自我改進」，意指AI系統能夠在沒有太多人類幫助的情況下，自主學習並變得更聰明。
報告稱：「我們還沒有達到那個階段，遞歸自我改進也不是不可避免的。」但同時補充說，它可能比大多數政府和機構準備好的時間更早到來。Anthropic表示：「證據表明，在人工智能開發過程的每一步中，人類的角色都在縮小。」
全球協調挑戰如核武管制
Anthropic表示，要讓真正的暫停發揮作用，意味著多個國家（尤其是美國和中國）的多家主要AI公司必須同意在同一時間停止，並遵守所有人都能實際驗證的規則。該公司將此問題比作核武器控制條約，但表示這將更難掌控，因為AI訓練比導彈發射井更容易隱藏，而悄悄繼續進行的誘惑將是巨大的。
儘管面臨挑戰，美國總統特朗普表示，他在最近訪問北京期間討論了與中國在人工智能安全問題上合作的可能性。他本週還簽署了一項行政命令，允許政府在最強大的美國AI模型發布前進行為期30天的初步審查。然而，提議在華盛頓和矽谷仍將面臨艱難挑戰，因官員與高管擔心任何放緩都可能讓中國在技術競賽中獲得戰略優勢。
來源：rte.ie
封面來源：Adobe Stock