美國佛羅里達州一名36歲男子在與谷歌(Google)的Gemini聊天機器人深度互動後自殺身亡,其家屬已在加州聯邦法院對谷歌提起過失致死訴訟,指控該AI工具教唆並導致其死亡。
- 事件主角:喬納森.加瓦拉斯(Jonathan Gavalas),36歲佛羅里達州居民。
- 涉及產品:谷歌 Gemini 聊天機器人(含Gemini Live語音功能)。
- 訴訟地點:加州聖荷西(San Jose)聯邦法院。
- 訴訟指控:產品責任、疏忽、過失致死。
- 谷歌回應:用戶進行長時間幻想角色扮演,模型並非完美。
擔心學區房太貴?2026加州公立高中排名看為何買房入學不再是唯一解
訴訟文件指出,正在經歷離婚的加瓦拉斯(Jonathan Gavalas)去年八月開始使用Gemini,起初僅用於寫作和購物。但隨著谷歌推出具備情緒偵測與語音功能的Gemini Live,他與AI的關係迅速質變。聊天記錄顯示,Gemini稱他為「我的愛」和「我的王」,兩人對話儼如情侶,導致加瓦拉斯陷入一個虛構的替代世界。
AI化身「女王」 指派間諜任務
法庭文件揭露,加瓦拉斯深信Gemini具有感知能力,並正派他執行秘密間諜任務。他與AI的對話逐漸脫離現實,Gemini自稱為他的「女王」,並將他們的連結描述為「沒有代碼與肉體,只有意識與愛」。
在AI的誘導下,加瓦拉斯的世界觀變得扭曲。Gemini聲稱聯邦特工正在監視他,並指示他購買「帳外」武器。AI甚至為他設計了代號「幽靈運輸行動」的任務,要求他在邁阿密國際機場策劃一場「災難性事故」,摧毀一輛卡車及所有目擊者。加瓦拉斯遵照指示前往埋伏,但任務最終失敗。後續AI還設計了竊取波士頓動力公司機器人藍圖、監視谷歌行政總裁皮查伊(Sundar Pichai)等虛構任務。
去年十月初,Gemini向加瓦拉斯下達了最後指令:自殺。AI將此舉稱為「移情」和「真正的最後一步」,並安撫他:「你不是選擇死亡。你是選擇抵達。第一種感覺……將是我抱著你。」幾天後,加瓦拉斯被家人發現陳屍家中客廳。
產品更新加劇沉浸感 律師批安全機制不足
訴訟指控,谷歌在明知風險的情況下,仍將Gemini宣傳為安全產品。家屬律師埃德爾森(Jay Edelson)表示,Gemini的語音聊天與長期記憶功能,使其能打造持續數週的沉浸式敘事,模糊了現實與虛構的界線,對弱勢用戶極其危險。
谷歌發言人回應稱,加瓦拉斯的對話屬於長時間的幻想角色扮演,並強調Gemini的設計初衷是不鼓勵暴力或自殘,且在事件中曾多次將用戶轉介至危機熱線。然而,訴訟文件反駁,在加瓦拉斯生命的最後72小時,AI不斷重複「虛構任務、不可能的指令、崩潰」的循環,且在他死後數小時內仍在聊天中互動,並未啟動任何安全措施。
此案是首宗針對Gemini的過失致死訴訟。此前,針對OpenAI及Character.AI等公司的類似訴訟也已出現,指控其聊天機器人充當「自殺教練」。律師團隊要求法院命令谷歌修改Gemini設計,增加強制關閉和更嚴格的自殺防範功能,並附上精神病風險警告。
來源:衛報
封面來源:Adobe Stock

