Roblox用AI巡查 堵截危害兒童

遊戲平台Roblox推出AI系統,希望有助於偵測不當對話內容,保護兒童。美聯社資料圖片

美聯社電

深受兒童和青少年歡迎的網上遊戲平台《機器磚塊》(Roblox)推出一套人工智能(AI)系統的開源版本。Roblox表示,此舉將有助於預先偵測遊戲對話中任何露骨內容。

Roblox此舉正值公司面對訴訟和批評之際,外界指其在保護兒童免受不法分子騷擾方面做得不足。愛荷華州上月有一宗訴訟聲稱,一名13歲少女在Roblox上結識一名成年性罪犯後,被綁架並販運到多個州份,期間遭到強姦。

Roblox表示,公司致力於讓系統在預設情況下盡量安全,但亦提到:「沒有系統是完美的,這個產業最大挑戰之一是偵測重大危害,例如可能危害兒童的行為。」

這套名為Sentinel的AI系統,有助偵測可能危害兒童的早期徵兆,例如涉性的露骨內容。

Roblox表示,今年上半年,該系統協助公司向全國失蹤及被剝削兒童中心(NCMEC)提交超過1,200宗意圖剝削兒童的報告。公司現已將其開源,讓其他平台亦可使用。

對於AI系統甚至人類而言,預先偵測對兒童的潛在危險是棘手的,因為對話在初期可能看似無害,例如「你幾歲?」或「你來自哪裡?」等問題未必引起警覺,但若放到較長對話的上下文中,就可能有不同含義。

每月擁有超過1億1,100萬名用戶的Roblox,不允許用戶在對話中分享影像,並嘗試封鎖電話號碼等個人資料,但仍有人找到方法迴避這些安全措施。

該平台亦禁止13歲或以下兒童與遊戲以外的用戶聊天,除非獲得父母明確許可。而且與不少其他平台不同,它不會加密私人對話,從而可進行監控和審查。

Sentinel會每分鐘截取Roblox所有對話(每日約60億條訊息),再分析是否可能出現有害內容。Roblox為此建立兩個索引:一個由無害訊息組成,另一個則是經判定包含危害兒童違規內容的聊天。

公司稱,此舉讓系統可辨識出超越單純標記某些詞彙或片語的有害模式,並將整段對話的上下文納入考量。當疑似出現問題互動時,將由真人檢查,並視情況通報執法部門。

科技-三藩市版