NVIDIA 迎戰 AI 推論新戰場！傳下月 GTC 大會推 Groq 整合晶片，OpenAI 成最大客戶

NVIDIA 準備在 AI 戰場打出全新底牌 。為了解決大型語言模型在「推論」階段的高成本與高功耗痛點，傳聞 NVIDIA 將於下個月在聖荷西舉辦的 GTC 開發者大會上，正式發表一款整合新創公司 Groq 技術的全新特製晶片 。這不僅象徵 NVIDIA 跨出傳統 GPU 的舒適圈，更成功綁定了正急切尋找替代方案的 OpenAI，成為這款新處理器的首批最大客戶之一 。

算力需求從訓練轉向推論，NVIDIA 面臨防守壓力

過去幾年，NVIDIA 憑藉 Hopper、Blackwell 以及最新的 Rubin 系列 GPU，幾乎吃下了全球超過 90% 的 AI 訓練晶片市佔率，這些高階產品向來以極其高昂的定價著稱 。執行長黃仁勳也一直對外強調，自家 GPU 無論在訓練還是推論場景都是業界領先，通用性正是其最大賣點 。

然而，隨著 AI 代理（AI Agent）等自動化工具快速崛起，科技巨頭們逐漸發現，用頂級 GPU 來跑 AI 模型日常回應使用者的「推論」任務，不僅成本太高，功耗也大得吃不消，甚至無法完全適配模型的實際運作需求 。AI 的推論計算主要分為兩個階段：「預填充」負責讓模型理解使用者的提示詞，通常速度較快；而「解碼」則是模型逐字生成回覆的過程，往往非常緩慢 。面對 Google 與 Amazon 均已針對此細分市場推出自研晶片，NVIDIA 面臨了亟需研發低成本、高能效推論晶片的巨大壓力 。

收編 Groq 技術，砸重金留住大客戶 OpenAI

為了解決這個危機，據報導指出，NVIDIA 在去年底同意以 200 億美元（約新台幣 6400 億元）的天價，取得了主打超高速推論的 Groq 關鍵技術授權，並將其創辦人 Jonathan Ross 等核心團隊延攬入閣，創下矽谷史上規模最大的「人才併購」紀錄之一 。Groq 所設計的晶片採用名為「語言處理單元」的全新架構，與傳統 GPU 截然不同，在推論功能上具有極高的效率 。

這項戰略舉動立刻收到了成效。身為 NVIDIA 的核心客戶，ChatGPT 的開發商 OpenAI 過去幾個月一直在尋找比 NVIDIA 晶片更有效率的推論替代方案 。OpenAI 甚至在上個月才剛跟另一家主打推論晶片的新創 Cerebras（由執行長 Andrew Feldman 帶領）簽下數十億美元的合約，同時也與 Amazon 簽署了使用其 Trainium 晶片的重大協議 。不過，在 NVIDIA 大舉對 OpenAI 進行 300 億美元（約新台幣 9600 億元）的投資後，OpenAI 已在上週五宣布向 NVIDIA 大規模採購專用推論算力，並計畫利用這套新系統來升級旗下的 Codex 程式碼編寫工具 。

跳出 GPU 框架，NVIDIA 正在轉型

面對 AI 時代的演進，企業端最賺錢的應用場景已經轉向程式碼編寫與自動化任務。目前這個領域的領頭羊是 Anthropic 的 Claude Code，但他們主要依賴的是 AWS 和 Google Cloud 團隊設計的晶片，而非 NVIDIA 。

NVIDIA 這次的動作，顯示他們非常清楚硬體市場的風向正在改變。除了引進 Groq 技術專攻推論，NVIDIA 這個月也剛宣布擴大與 Meta 的合作，首次進行大規模純粹部署自家的 Vera CPU，用來支援 Meta 的廣告定向 AI 代理 。這些舉動再再證明，NVIDIA 為了守住 AI 霸主地位，已經不再只把雞蛋放在 GPU 裡，而是準備用更彈性的運算架構來搶佔細分市場。

• 延伸閱讀：輝達次世代「Vera Rubin」AI 系統棄用美光 HBM4？傳 SK 海力士與三星瓜分訂單
• 延伸閱讀：GIGABYTE 與輝達推出迷你 AI TOP ATOM 超級電腦，桌面小空間就是你的 AI 實驗室
• 延伸閱讀：輝達豪擲10億美元入股諾基亞：黃仁勳劍指6G霸權，重塑美國電信領導地位