州府報稱無AI決策風險 技術局監管能力受關注

州府大力推動生成式AI加強服務效率,但對於各部門是否使用高風險自動化系統的監督不足。加州技術局網站

加州政府大力推動人工智能(AI)發展,包括在政府操作中使用電腦演算法,比如預測囚犯獲釋後是否會再次犯罪,還曾用來拒絕向60萬合格申請人發出失業福利。儘管如此,加州技術局在調查了近200個州府單位後發表報告稱,沒有一個機構使用高風險形式的自動化決策技術。

非牟利新聞媒體CalMatters指出,根據2023年起實施的州法,各機構必須每年報告在做影響人們的生活決策中,是否使用「高風險的自動化系統」。「高風險」是指任何可協助或取代人類決策者的系統,包括在刑事司法系統中使用的,或是決定人們是否能獲得住房、教育、就業、信貸及醫療照護等的技術。

州技術局向CalMatters提供了有關調查報告,加州技術長波拉特(Jonathan Porat)稱,局方不知道州機構目前使用哪些算法,只報告各機構上報的內容。問及就業局或懲教局的算法是否屬於高風險AI系統,波拉特表示,這要由各機構自行詮釋法律。他說:「我只知道他們上報的資料,因為即使他們有合約……我們也不知道他們如何或是否使用,所以我們仰賴這些部門準確上報這些資料。」

各機構必須在2024年8月底前上報,過去一年內使用的高風險自動化系統。如果發現確實使用,必須報告這些系統使用何種個人資料來做決策,以及採取了哪些步驟來降低此舉導致歧視、偏見或不公平結果的可能性。

州府機構所使用的一些自動化系統,引發外界就「如何定義風險」的疑慮。例如,州懲教局給絕大多數的囚犯打「累犯評分」,以決定他們在入獄和離開監獄時的需求。有記錄顯示該局使用的算法COMPAS存在種族偏見,但懲教局向技術局報告稱該局沒有使用高風險自動化技術。

州就業發展局也表示沒有使用高風險自動化系統,但在2020年的聖誕節和新年假期之間,該部門暫停了110萬人的失業福利,因為該機構使用的Thomson Reuters的AI工具給失業申請人打了欺詐分數,其中約60萬份申請後來被確認為合格。本報訊

加州