財經中心/廖珪如報導
AI 原生搜尋引擎 Perplexity 已將 Nemotron 3 Super 納入其 Computer 產品的協作模型群中;提供軟體開發代理的 CodeRabbit、Factory 與 Greptile 正藉此降低成本並提升準確度;包含 Edison Scientific 與 Lila Sciences 在內的頂尖生命科學機構,亦運用該模型進行深度文獻搜尋與分子層級的理解任務。此外,Amdocs、Palantir、Cadence、達梭系統與西門子等企業,也正積極部署並客製化該模型,以推動電信、資安與半導體設計領域的工作流程自動化。(圖/輝達提供)NVIDIA 今日宣布推出 NVIDIA Nemotron 3 Super 模型,這是一款具備 1,200 億參數的開放模型,其中包含 120 億個活躍參數,專為大規模運行複雜的代理型 AI 系統而設計。此模型現已全面開放使用,結合先進的推理能力,可讓自主代理以極高的效率完成任務,同時維持卓越的準確度。
目前,業界領導廠商已紛紛導入該模型。AI 原生搜尋引擎 Perplexity 已將 Nemotron 3 Super 納入其 Computer 產品的協作模型群中;提供軟體開發代理的 CodeRabbit、Factory 與 Greptile 正藉此降低成本並提升準確度;包含 Edison Scientific 與 Lila Sciences 在內的頂尖生命科學機構,亦運用該模型進行深度文獻搜尋與分子層級的理解任務。此外,Amdocs、Palantir、Cadence、達梭系統與西門子等企業,也正積極部署並客製化該模型,以推動電信、資安與半導體設計領域的工作流程自動化。
突破多代理應用瓶頸:解決情境膨脹與思考稅痛點
隨著企業從單純的聊天機器人邁向多代理應用,產業正面臨「情境膨脹」與「思考稅」兩大發展限制。多代理工作流程所產生的詞元數量可能是一般對話的 15 倍,龐大的情境資料量不僅增加運算成本,更可能導致代理偏離原始目標;同時,複雜代理在每個步驟皆需進行推理,若全面採用大型模型,將使運行成本過高且速度緩慢。
為解決上述痛點,Nemotron 3 Super 提供高達 100 萬個詞元的情境窗口,使代理系統能將完整工作流程狀態保留在記憶中,有效避免目標偏移。該模型在效率與開放性方面,不僅於 Artificial Analysis 評比中排名第一,更帶領 NVIDIA AI-Q 研究代理在 DeepResearch Bench 與 DeepResearch Bench II 兩大基準測試中榮登榜首,展現其處理大型文件集與維持推理連貫性的強大實力。
首創混合式架構:四大技術升級,推論速度與準確度大幅躍升
在底層技術方面,Nemotron 3 Super 採用混合式專家(MoE)架構,並整合四大關鍵創新。首先是結合 Mamba 層與 Transformer 層的混合式架構,前者提供高達四倍的記憶體與運算效率,後者則負責驅動進階推理;其次為混合專家技術,在推論階段時,1,200 億參數中僅有 120 億參數會處於活躍狀態。
第三項創新為潛在混合專家(Latent MoE)技術,能在推論階段以單一專家的成本,啟動四個專家模型來產生下一個詞元,藉此進一步提升準確度;最後則是導入多詞元預測功能,可同步預測多個未來詞元,使整體推論速度提升三倍。憑藉這些技術,在 NVIDIA Blackwell 平台上以 NVFP4 精度運行時,不僅能降低記憶體需求,其推論速度更可達 NVIDIA Hopper 平台 FP8 精度運算的四倍。
擁抱開放生態系:釋出權重與訓練資料,加速百工百業應用落地
NVIDIA 本次以寬鬆的授權方式釋出 Nemotron 3 Super 模型的開放權重,開發者可自由於工作站、資料中心或雲端環境進行部署與客製化。該模型使用由前沿推理模型生成的合成資料進行訓練,NVIDIA 亦完整公開其研究方法,包含超過 10 兆詞元的訓練資料集以及 15 個強化學習訓練環境,研究人員可運用 NVIDIA NeMo 平台進一步微調,或自行建構全新模型。
在實際應用場景中,Nemotron 3 Super 展現了強大的多子任務處理能力。軟體開發代理可將完整程式碼庫一次性載入情境中,實現端到端的程式碼生成與除錯;在財務分析領域,該模型可將數千頁的報告載入記憶體,省去反覆推理的時間;其高準確度的工具調度能力,更能確保自主代理在資安等高風險環境中,精準選擇正確功能以避免執行錯誤。
Nemotron 3 Super 模型目前已透過 NVIDIA NIM 微服務形式提供,並全面支援從地端至雲端的部署。企業與開發者可透過 build.nvidia.com、Hugging Face 等平台存取,亦可經由 Google Cloud、Oracle、AWS 及 Microsoft Azure 等全球大型雲端服務供應商,或是 Dell 與 HPE 等合作夥伴的代理平台進行整合部署,加速迎接多代理 AI 時代的到來。