阿里巴巴開源 Qwen3-Next:更快、更省成本,並可在消費級硬體上執行的 AI 模型

閱讀時間 7 分鐘
阿里巴巴開源 Qwen3-Next:更快、更省成本,並可在消費級硬體上執行的 AI 模型

瞄準開發者與企業的更快、更低成本模型

阿里雲推出採用全新 Qwen3-Next 架構的開源大型語言模型系列。領銜模型 Qwen3-Next-80B-A3B 擁有 800 億個參數,但透過新的設計選擇,讓系統執行速度遠快於先前的 Qwen 模型,成本也大幅降低。阿里巴巴表示,訓練這款新的基礎模型所需的運算量不到 4 月推出、採用密集架構的前代模型 Qwen3-32B 的十分之一;新系列在許多任務上的品質則可媲美公司規模更大的 Qwen3-235B 模型。

目錄
  1. 瞄準開發者與企業的更快、更低成本模型
  2. Qwen3-Next 的底層改變
  3. 淺白說明混合專家模型
  4. 混合式注意力與長上下文
  5. 多 token 預測與解碼
  6. 兩種模型版本,分別適用於指令與推理
  7. 速度、成本與硬體需求
  8. 供應與使用方式
  9. 如何重新形塑 AI 競爭
  10. 基準測試、透明度與審慎評估
  11. 可能受惠的用途與產業
  12. 重點整理

阿里巴巴已將這些模型開源,供開發者透過主要模型平台及自家雲端下載或使用 API。公司將 Qwen 定位為快速成長的開發者生態系。這項策略呼應中國 AI 業者更廣泛的趨勢:發布高品質模型,讓其他人能檢視並以此開發應用。這條路徑不必仰賴大規模集中式基礎設施,也能擴大模型的採用。

除了訓練效率方面的宣稱,Qwen3-Next 也著重於推論時的速度與長上下文效能。根據阿里巴巴公布的測試,處理長度超過 32,000 個 token 的提示時,這套架構的吞吐量比先前的 Qwen 系列高出 10 倍以上。模型的上下文視窗長達 256,000 個 token,特定設定下還可擴展至 100 萬個 token。這讓模型更能從容處理整本書的文件、大型程式碼儲存庫,以及其他需要大量輸入的工作負載。

Qwen3-Next 的底層改變

這一代模型採用多項逐漸成為先進 AI 標準工具的技術。核心是稀疏混合專家模型(MoE):訓練大量小型專家網路,每個 token 只會用到其中少數幾個。Qwen3-Next 將這項技術與處理長序列的混合式注意力機制、多 token 預測(用來加快生成),以及可降低強化學習(RL)訓練不穩定性的改良方法結合。在 Qwen3-Next-80B-A3B-Base 模型中,雖然總參數量達 800 億,每個步驟實際啟用的參數約只有 30 億。

阿里巴巴表示,這款基礎模型的品質與密集型 Qwen3-32B 相近,有時甚至更好,而訓練所用的 GPU 時數不到後者的 10%。在推論時,這套架構能降低運算需求,同時保留模型容量,因此團隊表示,在長上下文情境下速度提升顯著,雲端與消費級硬體上的成本效益也更佳。

廣告

淺白說明混合專家模型

在混合專家模型中,網路會學習許多稱為「專家」的專門子模型,再由輕量的閘控模組決定每個 token 要交由哪些專家處理。Qwen3-Next 採用高度稀疏的設定,也就是每次只會啟用少數專家。有報告指出,部分層有 512 個專家,每個 token 只啟用 10 個。如此一來,每次前向傳遞所需的運算與記憶體成本,便可比照小得多的密集型網路;同時,完整的專家組合仍讓模型具備龐大的總容量。

這種設計的代價是訓練過程更複雜,也需要排程機制來確保專家間的負載平衡。阿里巴巴表示,已處理稀疏 MoE 與 RL 式微調結合時常見的穩定性問題。對開發者來說,關鍵在於執行成本取決於啟用的參數數量,而非參數總量。

混合式注意力與長上下文

注意力層是 Transformer 中讓模型檢視輸入 token、判斷哪些內容重要的部分。輸入越長,標準注意力的成本就越高,因為成本會隨序列長度的平方增加。Qwen3-Next 將標準注意力與更精簡的上下文近似處理方法混合,團隊稱之為 Gated DeltaNet 搭配傳統注意力。如此一來,處理長輸入時吞吐量更高,提示越長,速度也較不容易下降。阿里巴巴表示,當上下文長度超過 32,000 個 token 時,吞吐量可提高 10 倍以上;預設上下文視窗為 256,000 個 token,特殊情況下則可擴展至 100 萬個 token。團隊也表示,在某些情境下效能提升近乎線性;上下文較短時,預填充速度最高約快 7 倍,解碼速度則約快 4 倍。

多 token 預測與解碼

多 token 預測會嘗試一次推測多個後續 token,若猜錯再進行修正。搭配推測解碼後,串流輸出回應所需的昂貴前向傳遞次數便可減少。Qwen3-Next 支援這種做法,並整合 SGLang 和 vLLM 等常用推論框架,有助於降低正式服務中的延遲。團隊也提到 Zero Centered RMSNorm 等其他能提升訓練穩定度的最佳化設計。與稀疏 MoE 搭配後,整體效果是在不大幅犧牲品質的情況下加快生成速度。

兩種模型版本,分別適用於指令與推理

發布時,阿里巴巴以基礎網路為底,推出兩款後訓練模型。Qwen3-Next-80B-A3B-Instruct 著重於日常指令遵循、聊天及工具使用。公司測試顯示,它在許多一般任務上的表現接近參數量達 2,350 億的旗艦模型;提示包含最長達 256,000 個 token 的超長上下文時,也展現出優勢。

Qwen3-Next-80B-A3B-Thinking 則針對複雜推理進行調校。阿里巴巴強調,這款模型的測試分數高於自家中階 Qwen3 模型,並在多項評估基準上勝過閉源模型 Gemini 2.5 Flash Thinking。公司指出,模型在難度較高的研究所程度測試集 SuperGPQA 上拿下 60.8%。基準測試可提供參考,但採購者仍應針對特定領域的工作負載自行測試,包括程式設計、檢索增強生成、數學及多步驟規劃。

廣告

速度、成本與硬體需求

主要效能提升同時體現在成本與時間上。阿里巴巴表示,基礎模型的訓練所需運算量不到 Qwen3-32B 的十分之一。推論時,每個 token 只會啟用約 30 億個參數,因此模型在生成回答時對 GPU 記憶體的壓力較小,耗電也較低。這意味著在相同服務水準下所需硬體規模更小,或是在相同設備上處理更多請求。

這套架構在處理長提示時尤其出色。阿里巴巴表示,輸入長度超過 32,000 個 token 時,吞吐量可提升一個數量級,較短序列也有明顯改善,包括在部分測試中預填充速度約快 7 倍、解碼速度約快 4 倍。搭配 256,000 個 token 的上下文視窗,分析人員可在單一請求中輸入整份合約、逐字稿或大型程式碼檔案,再要求模型摘要、比較或產生修改內容。公司強調,新系列經過調校,可在消費級硬體上良好執行,因此開發進階原型不再需要大型叢集。

供應與使用方式

Qwen3-Next 系列已公開發布,供廣泛取用。模型已上架 Hugging Face 和 ModelScope 等常見模型平台,也可透過阿里雲 Model Studio 進行託管部署。使用者可呼叫託管端點,或下載權重在本機推論。此系列也可透過 NVIDIA API Catalog 使用,部分版本則同步上架 Kaggle,方便使用者進行實驗。

這次發布也包含 Qwen3-ASR-Flash 等工具;據團隊表示,這款語音轉錄元件支援 11 種主要語言。阿里巴巴鼓勵開發者查閱各模型的授權條款,尤其是流量較大或用於商業用途時,並以自有資料集和工作負載進行測試。支援 SGLang、vLLM 等推論框架,加上對硬體友善的啟用模式,應有助於縮短從展示原型到部署可靠服務的時間。

廣告

如何重新形塑 AI 競爭

這項進展凸顯全球研究機構間更廣泛的競爭:讓強大的模型以更低成本供更多人使用。中國企業正積極推動開源 AI,以擴大採用並在能力上追趕西方競爭者。阿里巴巴表示,Qwen 生態系已成為規模最大的開發者開源社群之一。該集團也預覽了 Qwen3-Max,這款模型參數量超過 1 兆,近期在由研究人員主辦的 LMArena 聊天機器人排行榜上名列第六。除了阿里巴巴,DeepSeek 和美團等企業也正推出具競爭力的模型與服務。

更便宜、速度更快的基礎模型之所以重要,是因為運算資源既稀缺又昂貴。先進晶片出口限制為中國帶來更多壓力;即使在美國和歐洲,許多團隊也面臨 GPU 短缺。能讓大多數參數在推論時維持閒置的架構,使較小型的研究機構、新創公司和大學得以透過規格適中的伺服器執行高品質模型。投資人也開始關注,阿里巴巴今年將業務重心重新放在雲端與 AI 後,股價表現有所改善。隨著更多組織在日常工作流程中採用開源 AI,競爭格局也將隨之改變。

基準測試、透明度與審慎評估

模型排行榜可作為參考,但可能掩蓋某些取捨。速度數據會因批次大小、框架、量化方式和硬體而異;準確度則會受到領域、提示寫法,以及是否使用程式碼直譯器或檢索等工具影響。供應商也會自行挑選測試項目。社群團體和客戶進行的獨立測試,通常更能全面呈現模型的優勢與不足。

評估 Qwen3-Next 時,團隊不應只看單一基準測試的分數,還應衡量長上下文準確度、工具使用能力、數學與程式碼可靠性,以及模型在安全限制下的表現。也要追蹤目標上下文長度下的記憶體用量和吞吐量。如果應用需要有根據的回答,應搭配檢索功能,並檢查引用的證據脈絡。如果需要穩定一致的思維鏈,則應將 Thinking 版本與目前使用的模型組合進行比較。

可能受惠的用途與產業

Qwen3-Next 看來是為需要長上下文、快速回應及嚴格控管成本的應用而打造。法律與金融團隊可分析大量文件,並產生附有引文的客製化摘要。客服主管可將知識庫及冗長的疑難排解指南整合為單一助理,讓它能跨越數千頁資料進行推理。軟體團隊則可輸入程式碼儲存庫和日誌,協助程式碼審查、重構及產生測試。

研究人員可上傳長篇論文和資料集,比較研究方法與結果。媒體和教育業者可使用 Qwen3-ASR-Flash 轉錄並翻譯音訊,再透過語言模型製作讀書指南或內容大綱。政府和受監管產業若要求在地部署,也可受惠於這款模型能在消費級伺服器上執行;同時搭配謹慎監控、稽核日誌與內容過濾機制。

廣告

重點整理

  • 阿里巴巴推出 Qwen3-Next,並將 Qwen3-Next-80B-A3B 系列開源。
  • 訓練所需運算量不到 Qwen3-32B 的 10%,測試表現則與其相當或更佳。
  • 透過稀疏混合專家模型,800 億個參數中每個 token 約只有 30 億個處於啟用狀態。
  • 提示長度超過 32,000 個 token 時,吞吐量提升超過 10 倍,上下文視窗長達 256,000 個 token。
  • 特定設定下可擴展至 100 萬個 token;在較短上下文中,預填充與解碼速度也有所提升。
  • 兩款後訓練版本分別適用於指令遵循與複雜推理;公司測試顯示,模型表現勝過部分閉源競品。
  • 模型可透過 Hugging Face、ModelScope、阿里雲 Model Studio 和 NVIDIA API Catalog 使用。
  • 開源取用和較低的硬體需求,讓新創公司、企業及研究團隊更容易採用。
分享本文

您可能也喜歡