為何此時推出這款模型格外重要
阿里巴巴推出了 Qwen3 Omni，這是一款多模態人工智慧模型，可在同一系統中處理文字、圖片、音訊和影片。它問世之際，全球 AI 競爭正日益激烈。這款模型採 Apache 2.0 授權，可供下載及使用，企業因此享有廣泛權利，可執行、修改並將這項技術納入商業產品。多種模態的廣泛支援，加上寬鬆的授權條款，讓它直接對美國業界領先者的封閉系統形成壓力。
目錄
推出時機相當引人注目。西方企業持續投入巨資發展專有 AI 及相關基礎設施，中國研究團隊則透過開放存取模型吸引開發者。Qwen3 Omni 迅速登上 Hugging Face 社群排行榜，顯示開發者社群正大規模採用這款模型。對阿里巴巴而言，此次發布表明，中國最大的雲端服務供應商有意爭取全球 AI 工作負載，而不只是研究領域的關注。
這款模型的優勢很容易說明：一個基礎模型能接收語言、圖片、音訊和影片，再以文字或自然語音即時串流回應。如果阿里巴巴公布的效能在一般使用情境中也能維持，企業便能部署助理、轉錄服務和分析工具，不必支付封閉平台的使用費，也不用為每種資料類型拼接不同模型。
Qwen3 Omni 是什麼，又能做什麼
Qwen3 Omni 是專為原生多模態互動打造的基礎模型。它可接受四種輸入：文字、圖片、音訊和影片；並能產生兩種輸出：文字和語音。回應可近乎即時串流，因此使用者能與系統交談，或將鏡頭對準場景，在模型處理畫面的同時就開始聽取回答。
阿里巴巴推出三種版本，讓團隊依照使用情境選擇所需功能。每個版本都以 300 億參數的骨幹模型為基礎，並在推論時選擇性啟用專家網路，以提高效率。各版本如下：
- Instruct：完整互動模型，可處理音訊、影片和文字輸入，並產生文字與語音。
- Thinking：著重推理的模型，適用於長篇思考鏈回應。輸入類型相同，但僅輸出文字。
- Captioner：經微調的版本，用於詳細描述音訊，目標是在描述聲源和事件時盡量減少幻覺。
開發者可從 GitHub 和 Hugging Face 下載模型權重，也可透過阿里巴巴 API 呼叫託管端點；該 API 另提供速度更快的 Flash 版本，適用於對延遲敏感的情境。
Thinker 與 Talker 的設計
這套系統採用阿里巴巴稱為 Thinker 和 Talker 的雙元件架構。Thinker 負責跨模態推理，融合文字、視覺編碼器和音訊編碼器提供的線索，再規劃並產生代表預期答案或動作的文字 token。Talker 則將這項規劃轉換成自然語音，同時讓語音的時間與語調配合視覺和音訊情境。
兩個元件都採用混合專家（Mixture of Experts）架構。每個運算步驟只會啟用部分參數，讓工作分散至不同專家；大量請求同時湧入時，也能提高處理量。這種設計有助於模型在服務多位同時在線的使用者時維持低延遲。
Talker 不依賴 Thinker 的內部文字表徵，而是能直接以音訊和視覺特徵為條件。這讓翻譯或即時協助時的語音輸出更自然，因為系統能保留符合場景的韻律和音色。這種分工也有營運上的優點。檢索系統或安全過濾器等外部模組，可以檢查並調整 Thinker 提議的文字，再交由 Talker 轉成語音。
為了讓語音快速且清晰，Talker 會以自回歸方式預測多碼本序列，並使用輕量的 Code2Wav 網路即時合成音訊影格。這種方法能縮短延遲，同時保留語音品質的細節。
速度、規模與語言
在語音和影片互動中，延遲至關重要。Qwen3 Omni 的音訊首封包延遲約為 234 毫秒，影片則約為 547 毫秒。即使同時處理多項請求，端到端回應速度仍維持在一倍即時速率以內，讓對話保持流暢。
模型支援的語言相當廣泛，文字支援 119 種語言；可理解 19 種語言的口語輸入，並能以 10 種語言說話。支援範圍涵蓋主要世界語言及粵語等方言，讓產品團隊能打造面向全球使用者的助理，不必依地區更換模型。
上下文視窗是為長時間互動而設計。Thinking Mode 提供 65,536 個 token，Non Thinking Mode 則提供 49,152 個 token。輸入和輸出的上限各為 16,384 個 token，最長支援的推理鏈則可達 32,768 個 token。模型可分析並摘要較長的音訊片段，最長約 30 分鐘。
阿里巴巴如何訓練模型
音訊理解能力以自訂的 Audio Transformer「AuT」為核心。阿里巴巴以約 2,000 萬小時的標註音訊從頭訓練 AuT。訓練資料大多聚焦中文和英文自動語音辨識，另有較小部分來自其他語言及更廣泛音訊理解相關任務。AuT 約有 6 億個參數，並針對串流快取和離線工作進行調校。
預訓練分為三個階段。在編碼器對齊階段，團隊訓練視覺與音訊編碼器，同時凍結語言骨幹，以維持感知品質。接著以約 2 兆個 token 的資料集進行通用訓練，涵蓋文字、音訊和圖片，並加入較少比例的影片及影音資料。最後的長上下文階段，將序列長度從 8,192 個 token 延長至 32,768 個 token，並加入較長的音訊和影片，確保模型能處理長序列。
後訓練則加入指令遵循和安全性對齊。針對 Thinker，團隊採用監督式微調、由強至弱的知識蒸餾，以及結合規則與大型語言模型評審回饋的 GSPO 最佳化。Talker 經過四個階段訓練，結合數億筆多模態語音樣本與精選資料的持續預訓練，目標是在提升語音清晰度和表現力的同時減少幻覺。
基準測試、優勢與限制
阿里巴巴表示，在涵蓋文字、語音、視覺和影片的 36 項公開基準測試中，Qwen3 Omni 有 22 項排名第一，並在 32 項測試中領先開源模型。結果顯示，模型在音訊密集型任務表現突出，文字和視覺能力也具競爭力。
推理與寫作：在 AIME25 測試中，模型得分為 65.0，遠高於 2024 年版 GPT 4o 的 26.7。ZebraLogic 得分為 76.0，超越 Gemini 2.5 Flash 的 57.9。在 WritingBench 上，模型得分為 82.6，高於 GPT 4o 的 75.5。
語音與音訊：在 Wenetspeech 測試組中，據報字錯誤率分別為 4.69 和 5.89，遠低於 GPT 4o 的 15.30 和 32.27。在 LibriSpeech other 測試中，錯誤率降至 2.48。音樂分類表現也很出色，GTZAN 得分為 93.0，RUL MuchoMusic 為 52.0，兩項都高於 GPT 4o。
視覺與影片：HallusionBench 得分為 59.7，MMMU pro 為 57.0，MathVision full 為 56.3，在同一組結果中都高於 GPT 4o。在 MLVU 影片理解測試中，Qwen3 Omni 得分為 75.2，領先 Gemini 2.0 Flash 的 71.0 和 GPT 4o 的 64.6。
這些成績相當亮眼，但團隊仍應將其放在適當脈絡下解讀。阿里巴巴調校系統時，力求維持文字和視覺品質，同時強化語音與多模態互動能力。早期觀察者指出，同系列的純文字模型在部分純語言任務上仍可能領先；從單一模態訓練轉向廣泛的多模態架構時，這是常見的取捨。真正的考驗在於模型在正式工作流程中的日常表現。
開放授權、存取方式與定價
Qwen3 Omni 採 Apache 2.0 授權發布。該授權允許商業使用、修改和再散布，並包含專利授權。企業可將模型整合至產品，在自有硬體或可信賴的雲端環境部署，並推出封閉式產品，而無須公開專有修改內容。這項授權排除了最常見的法律障礙，讓團隊能在受監管的環境中使用先進模型。
Qwen3 Omni 系列可從 GitHub 和 Hugging Face 下載。偏好託管服務的團隊可使用阿里巴巴 API，當中也提供回應速度更快的 Flash 選項。阿里巴巴提供啟用後 90 天內、跨模態共 100 萬個 token 的免費額度，供團隊付費前評估功能。
Token 計價方式
費用以每 1,000 個 token 計算。Token 是文字的小單位，或其他媒體的分塊表徵，也是衡量各種模態運算成本的通用標準。阿里巴巴列出的 Thinking 和 Non Thinking 模式 token 單價相同，只有一項例外：音訊輸出僅適用於 Non Thinking Mode。
輸入費用：文字輸入每 1,000 個 token 收費 0.00025 美元，約為每百萬個 token 0.25 美元。音訊輸入每 1,000 個 token 收費 0.00221 美元，約為每百萬個 token 2.21 美元。圖片和影片輸入每 1,000 個 token 收費 0.00046 美元，約為每百萬個 token 0.46 美元。
輸出費用：純文字提示的文字輸出，每 1,000 個 token 收費 0.00096 美元。如果輸入包含圖片或音訊，文字輸出每 1,000 個 token 收費 0.00178 美元。如果同時要求文字和音訊輸出，音訊部分每 1,000 個 token 收費 0.00876 美元；此時文字部分免費。
現階段可行的應用情境
以音訊和影片為核心的應用預計將受惠。客服和媒體在地化所需的多語轉錄與翻譯，可以由同一個模型處理：模型能聆聽、理解上下文，並以語音回應。Captioner 版本著重音訊描述，適用於媒體標記、廣播監控和音樂資訊檢索。
光學字元辨識、物件定位，以及圖片或影片問答等視覺任務也適用。客服人員可觀看筆記型電腦的即時手機鏡頭畫面，指出該檢查哪條線，再以自然語速口述操作步驟。阿里巴巴曾展示透過穿戴式裝置即時翻譯餐廳菜單。這些情境凸顯了串流延遲和語音品質的重要性。
Qwen3 Omni 也支援影音對話。它能根據聽到和看到的內容進行對話，在長時間互動中記住上下文，並在連接工具後提供相關外部知識。開發者可透過系統提示設定語氣和行為、打造特定領域的助理，並在產生語音前，先將 Thinker 的輸出送經自訂安全過濾器。
與 GPT 4o、Gemini 2.5 和 Gemma 3n 的比較
Qwen3 Omni 加入了全能型模型行列，這類模型旨在由單一引擎處理多種資料類型。OpenAI 的 GPT 4o 支援文字、圖片和音訊輸入，但以封閉服務形式提供。Google 的 Gemini 2.5 Pro 也能分析影片，同樣採封閉模式。Google 的 Gemma 3n 採開放授權，可接受文字、圖片、音訊和影片輸入，但僅產生文字。阿里巴巴的模型支援同樣四種輸入，並額外提供語音輸出，對助理和即時翻譯尤其重要。
開放程度是實務上的差異。Qwen3 Omni 的模型權重採 Apache 2.0 授權，因此企業可在本地執行模型、配合產業規範調整，並掌控資料流向。封閉模型在部分高階任務仍居主導地位，但其授權和資料落地條件可能限制敏感產業部署。許多組織會選擇混合架構，在重視成本和掌控度的情境使用開放模型，在效能難以超越的情境則採用付費服務。
另一項差異在於實際部署的發展脈絡。阿里巴巴已打造涵蓋數百種版本的 Qwen 系列，並表示開發者採用情形廣泛。如果 Qwen3 Omni 的即時語音和影片互動能力在日常使用中能維持基準測試的水準，對需要多語、低延遲且可自行託管助理的團隊而言，這款模型將是值得考慮的替代選項。
採用情況與市場訊號
開發者的投入程度已清楚可見。Qwen3 Omni 登上 Hugging Face 趨勢排行榜榜首，阿里巴巴的其他模型也占據數個前排名次。這股動能反映出更廣泛的轉變：中國研究機構推出的開放模型，正逐漸受到全球社群青睞。
阿里巴巴雲端表示，Qwen 系列在全球下載次數已超過 4 億，系列推出以來，公司已發布 300 多款模型。投資人反應也偏向正面。Qwen3 Omni 登上社群排行榜榜首當天，阿里巴巴香港股價上漲逾 4%，顯示市場正密切關注該公司的 AI 發展。
「開放」的定義也引發討論。模型採 Apache 2.0 授權發布，權重也可取得，但從原始資料重現訓練過程所需的完整方法並未公開。嚴格定義者會稱之為「開放權重」。對多數企業而言，授權條款才是關鍵，因為這讓企業無須按使用者或席位付費，就能推出產品。
安全與治理方面的觀察重點
企業會想知道，據報的基準測試進步是否能轉化為高負載下可預期且安全的行為。語音系統會帶來獨特風險，例如誤聽指令，或合成聽起來可信的聲音。團隊應為身分驗證、內容過濾和資料保留制定防護措施。Thinker 和 Talker 分工有助於落實這些控制，因為安全層可在產生語音前攔截文字。
營運準備度也將受到關注。大規模採用開放模型的組織，往往會投資機器學習營運（MLOps）、微調流程和評估機制。Qwen3 Omni 能在同一處處理文字、音訊、圖片和影片，減少來回切換多個模型的需求，有助於簡化基礎設施並加快產品開發週期，尤其適用於必須符合地區規範的地端或主權雲端部署。
阿里巴巴也提出後續發展方向，包括提升多說話者辨識能力、改善影片文字辨識、強化音訊與影片聯合學習，以及打造能力更強的自主代理。這些目標正是客戶將試點計畫推向正式部署時，最可能優先要求改善的領域。
重點摘要
- Qwen3 Omni 是單一模型，可接受文字、圖片、音訊和影片輸入，並以串流速度輸出文字和語音。
- 阿里巴巴以 Apache 2.0 授權發布模型權重，允許商業使用、修改和再散布，並包含專利授權。
- 目前推出三種版本：提供完整互動功能的 Instruct、適用於長篇推理且僅輸出文字的 Thinking，以及著重低幻覺音訊描述的 Captioner。
- Thinker 和 Talker 將推理與語音生成分開，並採用混合專家架構，在並行負載下維持低延遲。
- 據報首封包延遲約為音訊 234 毫秒、影片 547 毫秒，回應速度維持在一倍即時速率以內。
- 模型支援 119 種文字語言，可理解 19 種語言的語音並以 10 種語言說話，也支援粵語等方言。
- AuT 是一款 6 億參數的音訊編碼器，以約 2,000 萬小時資料訓練，為語音理解能力奠定基礎。
- 基準測試顯示，模型在 36 項測試中的 22 項領先，並在 32 項測試中領先開放模型；語音、音樂、視覺和影片表現突出。
- API 文字輸入每 1,000 個 token 起價為 0.00025 美元，文字輸出每 1,000 個 token 為 0.00096 美元；另提供 90 天、100 萬個 token 的免費試用額度。
- Qwen3 Omni 在 Hugging Face 上迅速受到採用；阿里巴巴表示，Qwen 系列下載次數已達數億，企業正評估將開放模型用於正式部署。
