多模態 AI 新興開源競爭者
阿里巴巴推出 Qwen3 Omni，這是一款廣泛支援多模態的模型，能讀取文字、辨識圖像、聆聽音訊及觀看影片，並以文字和自然語音回應。阿里巴巴將其定位為原生端到端全模態模型，也就是從一開始就設計成能同時處理所有這些輸入，而不是事後才把語音或視覺功能當作附加項目。此時，許多組織正衡量開源模型與 GPT 4o、Gemini 2.5 Pro 等專有系統之間，在成本與掌控權上的取捨。兩者最大的差異在於使用權限。Qwen3 Omni 採用 Apache 2.0 授權，這是一種寬鬆的授權框架，允許免費商業使用、修改及再散布。這降低了團隊自行託管模型或推出產品的門檻，也不必支付按席次計費的費用，或受制於單一供應商。
目錄
Qwen3 Omni 也超越了常見的文字、圖像與音訊三大模態，還能分析影片，而這項能力過去主要限於封閉平台。模型支援 119 種文字語言、19 種語音輸入語言及 10 種語音輸出語言，涵蓋主要語言及部分方言，例如粵語。早期資料強調其串流回應速度流暢，互動感近似對話，而非批次處理；音訊首個封包約需四分之一秒，影片則約需半秒。對於能在即時情境中迅速打斷、釐清問題並轉交任務的助理而言，這是重要的門檻，例如客服通話或行動導覽等應用。
這次發布包含三種針對不同工作需求調校的版本。Instruct 是功能完整的對話模型；Thinking 著重複雜推理與長鏈思考，僅輸出文字；Captioner 則專精於音訊描述，適用於重視低幻覺率的情境。開發者可透過熱門模型平台取得權重、使用速度更快的 Flash 選項呼叫 API，或進行微調以掌控領域知識與風格。阿里巴巴公布的基準測試顯示，該模型在語音、音訊及影片任務上表現出色，同時在文字與視覺方面也能與領先系統競爭。
Qwen3 Omni 的不同之處
幾項技術選擇讓 Qwen3 Omni 脫穎而出。首先，其訓練流程從一開始就混合單模態與跨模態資料，並在預訓練及後訓練階段持續擴大規模。其次，模型採用混合專家（Mixture of Experts）架構，每個 token 只啟用一小部分參數。這有助於提高處理量並降低推論成本，對即時應用及受硬體條件限制的部署尤其重要。第三，系統將推理與語音分成兩個協同運作的元件，分別稱為 Thinker 和 Talker。Thinker 負責多模態理解與推理的繁重工作；Talker 則將高階表徵轉換為保留時間節奏與角色特性的語音。
滿足不同需求的三種模型版本
阿里雲發布 Qwen3 Omni 30B A3B 系列的三種選項，讓團隊依需求選擇：
- Instruct：整合 Thinker 與 Talker，可處理文字、圖像、音訊及影片輸入，並輸出文字與語音。
- Thinking：專注於深度推理與長鏈思考，接受相同的多模態輸入，但只輸出文字。
- Captioner：用於音訊描述與說明，幻覺率低，適合媒體分析、無障礙服務及內容審核流程。
API 另提供 Flash 版本，主打更低延遲與更高並行處理能力。對於需要在流量尖峰時仍能迅速回覆的客服中心助理或購物導覽，這項能力可能相當重要。
Thinker 與 Talker 架構解析
Qwen3 Omni 將工作分開處理，在維持推理彈性的同時，讓語音聽起來更自然。Thinker 是核心多模態模型，負責對齊並融合文字、圖像、音訊與影片特徵，再產生用來驅動回應的 token 層級表徵。Talker 則是專用的語音生成器。它不會把 Thinker 的輸出當作文字來處理，而是直接以音訊及視覺特徵為條件。這種設計有助於 Talker 根據所見所聞調整語調與音色，提升翻譯及語音演繹的表現，例如節奏、重音與情緒語氣。
為降低語音延遲，Talker 採用多碼本自回歸架構來預測離散聲學 token，再由輕量的 Code2Wav 卷積網路將這些 token 轉換為波形。由於 Talker 與 Thinker 的文字輸出解耦，外部模組可在語音產生前影響或過濾 Thinker 的輸出。這讓安全流程更容易實作，因為政策檢查與檢索步驟可以安排在思考與發話之間。串流效能是此架構的核心。阿里巴巴公布的數據指出，音訊首個封包約需 234 毫秒，影片首個封包約需 547 毫秒。系統的即時因子低於 1，代表即使同時處理多項請求，也能比音訊播放時間更快地生成音訊。
Thinker 與 Talker 都採用混合專家架構。混合專家模型由許多小型專家網路和一個閘控網路組成，閘控網路會將每個 token 分配給其中少數專家。每個 token 只需運行一小部分參數，有助於支援高並行處理能力並維持推論回應速度。對開發者而言，這可能決定助理能否即時打斷並互動，或只能等到輪到自己發言。
建置方式與支援功能
音訊表現始於編碼器。Qwen3 Omni 推出從頭打造的 Audio Transformer，並以約 2,000 萬小時的監督式資料進行訓練。訓練資料以中文和英文的自動語音辨識資料為主，另加入其他語言資料及以音訊理解為核心的任務資料。編碼器約有 6 億個參數，支援低延遲的串流快取，也能離線執行長篇錄音等分析任務。接著，編碼器會透過對齊階段將資料送入多模態核心，讓模型能跨格式推理。
預訓練分為三個階段。在編碼器對齊階段，視覺與音訊編碼器接受訓練並完成對齊，同時凍結語言模型。在一般訓練階段，團隊將訓練規模擴大至約 2 兆個 token，涵蓋文字、音訊、圖像，以及部分影片和影音配對資料。在長上下文訓練階段，最大 token 長度從 8,192 擴增至 32,768，並納入更多長篇音訊與影片序列。後訓練則包括監督式微調、從能力更強的教師模型進行蒸餾，以及運用規則與模型判斷進行 Thinker 政策最佳化。Talker 則經歷四階段訓練，使用數億筆多模態語音樣本並結合持續預訓練，目標是降低幻覺並改善語音品質。
對一個 300 億參數的模型系列而言，其功能涵蓋範圍廣泛。Qwen3 Omni 支援 119 種文字語言、19 種語音輸入語言及 10 種語音輸出語言。Thinking Mode 的上下文視窗可達 65,536 個 token，Non Thinking Mode 支援 49,152 個 token；模型最多可處理 16,384 個輸入 token，並輸出 16,384 個 token。最長思考鏈可達 32,768 個 token。這樣的規模有助於處理複雜逐字稿、長時間會議，或其他模型若不分段便難以處理的程式碼庫與文件。
基準測試、優勢與數據解讀
阿里巴巴表示，在涵蓋 36 項基準測試的廣泛評估中，Qwen3 Omni 有 22 項得分居首，並在 32 項測試中領先開源模型。文字與推理測試方面，AIME25 得分為 65.0，遠高於 GPT 4o 公布的 26.7；ZebraLogic 得分為 76.0，高於 Gemini 2.5 Flash 公布的 57.9。WritingBench 得分為 82.6，相較之下，GPT 4o 為 75.5。語音與音訊方面，Wenetspeech 兩個常用測試集的詞錯誤率分別為 4.69 和 5.89，明顯優於 GPT 4o 的 15.30 和 32.27。Librispeech other 的詞錯誤率則降至 2.48，在同類模型中相當低。
圖像與視覺測試方面，HallusionBench 得分為 59.7、MMMU pro 為 57.0、MathVision full 為 56.3，阿里巴巴公布的數據顯示，三項得分都高於 GPT 4o。在影片理解方面，模型於 MLVU 得分達 75.2，高於 Gemini 2.0 Flash 的 71.0 和 GPT 4o 的 64.6。音樂任務也有進步，在 GTZAN 得分 93.0，RUL MuchoMusic 得分 52.0。這些數據呈現的方向與其設計重點一致：Qwen3 Omni 在音訊及影音理解方面設定了高標準，同時維持強勁的文字與圖像能力。
基準測試雖然有參考價值，終究仍是受控測試。資料集與評分方式可能偏向某些訓練資料組合。實際部署會遇到新的挑戰，例如麥克風雜音、口音、雜亂的手機鏡頭畫面，以及快速切換上下文。多模態模型也常面臨取捨：若要廣泛訓練各種模態，純文字表現可能會比規模更大、優先以文字訓練的模型略差。團隊應先以自己的資料進行重點試驗，再視需要採用混合模型策略。許多企業會搭配使用較小的多模態模型來聆聽與觀察，再以較大的文字模型撰寫報告或電子郵件。Apache 開源授權也讓這類協作更容易，不必經過繁瑣的採購流程。
與 GPT 4o、Gemini 2.5 Pro 及 Gemma 3n 比較
OpenAI 推出 GPT 4o，為文字、圖像與音訊整合能力以及自然語音互動建立了市場期待。Qwen3 Omni 則將影片分析也納入輸入範圍。Google 的 Gemini 2.5 Pro 具備影片分析能力，但仍是專有模型。Google 也推出開放模型 Gemma 3n，可接受文字、圖像、音訊及影片輸入，但只輸出文字。Qwen3 Omni 能輸出文字與語音，因此可支援更多互動用途，例如即時翻譯或在客服中心轉接服務專員。
授權方式也是一項差異。Qwen3 Omni 採用 Apache 2.0 授權並附有專利授權，企業可使用、修改並推出產品，不必公開原始碼或支付執行費用。封閉模型則需要付費存取，且使用受到供應商平台限制。現代開放模型發布也有一項常見但值得留意之處：權重與使用程式碼是開放的，但從頭重建模型所需的完整方法，包含整理過的訓練資料，通常不會公開。對許多採用者而言，能夠執行模型、進行微調並整合至正式環境才是主要目標，而這些都已獲得允許。
延遲表現具競爭力。阿里巴巴公布的數據顯示，音訊首個封包約需 234 毫秒，影片約需 547 毫秒，與最佳對話系統處於同一級距。企業仍須評估首個封包時間以外的服務水準目標，包括內容達到穩定所需的時間，以及長篇回答的總回應時間。Qwen3 Omni 也透過 API 提供 Flash 版本以進一步加快回應速度，概念上類似其他生態系統中主打速度的方案。
存取方式、定價與免費額度
開發者可透過多種方式試用 Qwen3 Omni。模型權重已上架主要模型平台。API 提供隨選存取，啟用後 90 天內可免費使用跨模態合計 100 萬個 token。費用按每 1,000 個 token 計算：文字輸入為 0.00025 美元，音訊輸入為 0.00221 美元，圖像與影片輸入為 0.00046 美元。若輸入內容只有文字，文字輸出每 1,000 個 token 收費 0.00096 美元；若輸入包含圖像或音訊，則為 0.00178 美元。若要求同時輸出文字與音訊，音訊部分每 1,000 個 token 收費 0.00876 美元，文字部分免費。
與許多封閉服務相比，這些價格偏低，有助於在不產生高額帳單的情況下進行實驗。阿里巴巴表示，Thinking Mode 與 Non Thinking Mode 的價格相同。音訊輸出僅支援 Non Thinking Mode。平台也在 Model Studio 中列出上下文限制與模型選項，讓企業依速度、品質及成本挑選模型。官方資訊可參閱阿里雲 Model Studio 頁面（此連結）。
從客服到媒體工具的應用情境
Qwen3 Omni 適用於看、聽、說能力能發揮作用的工作。以下案例呈現其應用範圍：
- 即時技術支援。助理可觀看手機鏡頭畫面，同時聆聽客戶說明，再以自然語音逐步提供指引。
- 多語言轉錄與翻譯。模型可轉錄多種語言的會議、通話或演講，再產生英文摘要，或以另一種語言口頭回答。
- 音訊描述與音樂標記。Captioner 版本可撰寫低幻覺率的音訊描述，包括背景聲音與音樂特徵，有助於搜尋與版權管理。
- 影片理解。模型可回答影片片段中發生的事件、追蹤事件發展並摘要場景。
- OCR 與文件擷取。結合視覺與語言能力，可從表單或收據擷取欄位，再依上下文進行驗證。
- 消費者助理。穿戴式裝置或手機可運用模型進行菜單翻譯、地標辨識及描述周遭環境等無障礙功能。
開發者可透過系統提示微調對話風格與角色設定。模型也支援工具呼叫，可使用外部服務進行檢索、計算或資料庫查詢，實現代理式工作模式，讓模型規劃任務、呼叫工具，再以語音回報結果。
授權與企業影響
Apache 2.0 授權是這次發布的重要一環。它允許商業使用、修改與再散布，並包含專利授權，可降低將模型整合至專有系統時的法律風險。企業可將 Qwen3 Omni 整合至產品或內部工作流程，不必支付供應商費用，也無須將修改內容開源。對於需要掌控資料路由與記錄方式的受監管產業而言，這項特點尤其吸引人。開放權重也讓企業能在內部部署，或託管於可信任的雲端環境。
開源發布並不能自動解決所有疑慮。訓練資料與完整訓練程式碼通常不會一併提供，因此社群無法重現完整的模型建置流程。對許多企業而言，這可以接受，因為他們更重視執行模型、自訂模型並達成服務水準目標。此次發布也凸顯多模型架構的優勢：團隊可將快速的開源多模態模型與較大型的專有模型搭配使用，或選擇全數採用開源模型以避免平台限制。無論採取哪種方式，寬鬆授權下具備影片理解與語音能力的模型，都能擴大開發空間，減少冗長協商。
風險、防護措施與後續評估
多模態模型帶來的安全問題不只限於文字。音訊與影片輸入可能包含敏感資訊；若語音輸出缺乏事實依據或未經過濾，也可能造成誤導。阿里巴巴說明，Talker 生成語音前設有閘控步驟，外部模組可在此攔截 Thinker 的輸出。這項設計可支援政策檢查、資訊檢索或紅隊過濾。企業仍應在自身環境與所在區域驗證內容安全，包括防範提示注入、隱私控管，以及錄音或分析前取得同意。
效能宣稱應以實際資料測試。口音、領域術語與背景噪音可能降低自動語音辨識品質；低光源或動態模糊則會影響視覺理解。工具使用與代理協作也會帶來新的失效模式，例如錯誤呼叫工具或陷入重複循環。企業需要制定治理政策，規範記錄、人為審查與回復機制。最後，基礎設施同樣重要。要大規模執行即時語音服務，必須妥善規劃處理量、GPU 記憶體及負載降級。混合專家架構有助於提高效率，但團隊仍須依尖峰流量與長上下文需求，配置適當的叢集與快取資源。
重點整理
- 阿里巴巴以 Apache 2.0 授權發布 Qwen3 Omni 開源模型，支援文字、圖像、音訊與影片輸入，並可輸出文字與語音。
- 系統採用 Thinker 與 Talker 架構，並結合混合專家設計，以支援並行處理與低延遲語音串流。
- 公布的首個封包延遲約為音訊 234 毫秒、影片 547 毫秒，即時因子低於 1。
- 模型有三種版本：適用於完整互動的 Instruct、以文字輸出深度推理結果的 Thinking，以及用於音訊描述的 Captioner。
- 訓練使用自行打造、以約 2,000 萬小時資料訓練的 Audio Transformer，以及規模約 2 兆個 token 的多模態語料。
- 根據阿里巴巴公布的基準測試，Qwen3 Omni 在許多音訊、影片與推理測試中領先，同時在文字與視覺方面維持競爭力。
- API 每 1,000 個 token 的費用偏低，並提供 90 天內免費使用 100 萬個 token 的額度；模型權重也可供自行託管。
- Apache 2.0 授權允許商業使用、修改與再散布，並提供專利授權，可降低對單一供應商的依賴。
- 企業應以真實資料測試安全性、延遲與準確度，並規劃治理及基礎設施，以支援即時工作負載。
