OpenAI表示，自研的Jalapeno人工智能(AI)芯片在測試中，部分效能優於英偉達現有GB300處理器，顯示其自行開發AI基礎設施取得進展。OpenAI預計今年稍晚開始使用這款芯片支持旗下AI模型，藉此降低數據中心成本，並讓客戶依需求選擇價格較低或回應速度更快的模型。
Jalapeno由OpenAI與博通合作開發，雙方去年宣布合作，並於今年6月表示，這款芯片以創紀錄速度完成設計。博通目前也替多家客戶開發客製化芯片。OpenAI芯片負責人Richard Ho表示，在公開基準測試中，Jalapeno與當時表現領先的英偉達GB300比較，並在兩項指標取得優勢，分別是單位功耗能處理的AI工作量，以及向使用者傳回答案的速度。據悉，一般AI芯片通常偏重其中一種能力，有些適合同時處理大量工作，有些則以快速回應見長。Ho表示，Jalapeno能同時提供高輸送量與低延遲，可用較低成本服務大量使用者，也能為重視速度的客戶提供更快回應。
OpenAI將決定旗下哪些模型由Jalapeno支持，客戶則可選擇偏重成本效益或運算效能的模型。這款芯片在約700瓦功耗下就能取得良好測試結果，有助降低數據中心電力支出。隨著OpenAI在全球興建大量AI基礎設施，電力已成為最重要的營運成本之一。
不過，這次的測試並未將Jalapeno與英偉達剛開始出貨的新一代Vera Rubin芯片比較，而且Jalapeno也不是用來訓練AI模型。其主要用途是AI推論，也就是模型完成訓練後，處理使用者提示詞並執行任務的階段。AI模型訓練仍是英偉達技術最具優勢的領域。OpenAI表示，Jalapeno的速度足以實現過去通常需要特殊記憶體及芯片架構才能達到的效能。公司目前使用Cerebras Systems的技術運行部分模型，但Ho指出，這類芯片較適合規模較小的模型，Jalapeno則可以處理更大型、工作負載更重的AI模型。
OpenAI以旗下較小型的開源模型，以及DeepSeek和Moonshot AI的協力廠商模型公開測試Jalapeno。在測試規模最大的Moonshot Kimi模型上，Jalapeno展現更明顯的效能優勢；內部測試也顯示，它能有效運行OpenAI尚未發布的大型先進模型。
OpenAI因此認為，隨著模型及工作負載規模增加，Jalapeno的設計價值將更加明顯。
本報訊
