AT&T減少支出 採用開源模型

AT&T副總裁馬克．奧斯丁表示，公司計劃透過更多採用英偉達Nemotron等開源大模型，在未來幾年將員工調用Anthropic與OpenAI模型的支出維持在現有水平。過去一年，AT&T已擴大開源模型使用規模，目前員工AI請求中40%由開源模型處理，目標是提升至60%至70%。

奧斯丁指出，開源模型效果與Anthropic、OpenAI的舊版模型不相上下甚至更優。開發者處理代碼生成等複雜任務仍選用頂尖閉源模型，但代碼摘要等較低負荷工作可使用成本更低的開源模型。公司借助模型路由工具自動分配任務，接入Lite LLM後，部分高階AI任務成本最高下降56%，質量僅下滑2%。

AT&T於2023年推出內部AI系統Ask AT&T，最初完全依賴OpenAI模型，其後接入更多模型，每日處理450億token。若全部採用閉源模型，每年至少需數億美元。