OpenAI推新方案 推理成本直接減半

據一位知情人士透露，此前尚未對外披露的消息顯示，本月早些時候，OpenAI工程師向部分內部同事透露，通過一系列全新的技術優化手段，他們找到了一種可將模型推理運行成本降低一半以上的方案。

工程師將這套新技術應用於未註冊免費/付費賬號的訪客訪問ChatGPT場景後，峰值時段所需的英偉達顯卡算力規模一度僅需幾百塊，這一數字低得超乎預期。（當然，OpenAI針對這類匿名訪客設置了調用頻次限制，該群體的ChatGPT整體使用量並不算高。）目前OpenAI並未公開本次效率提升所採用的具體技術細節，業內推測常用優化手段包含：模型量化、鍵值緩存（讓模型記憶過往計算信息等等。