隨著AI產品越來越多，各國政府對其發展過快感到擔憂。AI科學家辛頓(Geoffrey Hinton)去年辭去谷歌工作時提到AI現存風險，引發話題。
周四(4日)一份由AI科學家在《科學》期刊發布的研究可能加劇這種擔憂，提到若具有「長遠規劃技能」的AI代理人不受控，恐對人類生存構成風險。
領導該研究的柏克萊加大研究員科恩(Michael Cohen) 專研AGI代理的預期行為，特別是為人類進行規劃而對人類構成真正威脅的AGI代理。
除了科恩外，參與研究的是還有著名AI科學家班吉歐(Yoshua Bengio)、羅素(Stuart Russell)和曾任OpenAI顧問的法學系教授哈德菲爾德(Gillian Hadfield)。
科恩周四受訪時明確指出，這種長遠AI規劃代理尚未出現，隨著科技公司透過利用強化學習(reinforcement learning)，將當今聊天機人技術結合成更深思熟慮的規劃技巧，「它們就有這種潛力」。
該份研究論文指出，「為先進AI系統提供最大化的獎勵目標，然後在某個時候不給於獎勵，就會強烈激發AI在有機會時將人類排除在外」。
科恩希望政府官員認真思考，需要用哪些法規解決這些問題，因為「目前各政府僅知道這些公司決定告訴他們的東西」。科技界對AGI的研究產生分歧，一些意見認為應緩慢和謹慎發展，但其他人則希望加快開發。
2010年於倫敦成立後現為谷歌旗下公司的新創公司DeepMind，是第一批表明著手開發AGI的公司之一，OpenAI也在2015年在做出安全為主的承諾下做同樣的事。谷歌創辦人之人布林(Sergey Brin)最近被看到到訪加州一家正在測試谷歌AI產品的「AGI之屋」(AGI House)。在從臉書改名以著重虛擬世界後不足三年，Meta今年1月宣布AGI是其研發重點。美聯社電
