原生多模態新秀開源登場
阿里巴巴發表 Qwen3-Omni，這是一款原生多模態人工智慧模型，可接收文字、圖片、音訊和影片作為輸入，並以文字或合成語音回應。該模型採用 Apache 2.0 授權開源，允許商業使用、修改和再散布，並附有專利授權。這種廣泛的功能與寬鬆授權相結合，使 Qwen3-Omni 直接與美國領先的封閉式系統競爭，同時降低新創公司、研究人員和大型企業採用的門檻。
目錄
Qwen3-Omni 順應業界轉向全模態模型的趨勢。這類系統旨在即時理解並處理各種模態。阿里巴巴表示，Qwen3-Omni 並非在文字模型上外掛語音或視覺功能，而是從一開始就以端到端多模態系統打造。它在思考過程中直接處理音訊和影片，並透過專用語音模組生成語音，因此無須等待整個檔案處理完畢，就能維持對話節奏、語氣和脈絡。
首波推出的產品以 300 億參數系列為主，採用混合專家（Mixture of Experts）架構，讓推論保持快速且易於擴展。阿里巴巴表示，音訊的首個封包延遲最低可達 234 毫秒，影片則為 547 毫秒；即使在並行處理下，RTF（即時因子）仍低於 1。系統支援 119 種文字語言、19 種語音輸入語言和 10 種語音輸出語言，為多語助理、客服中心和即時翻譯開啟更多應用可能。
此次推出正值阿里巴巴將雲端業務定位為全端 AI 服務供應商之際，中國開源模型也在開發者平台上快速崛起。短短數天內，Qwen3-Omni 的不同版本便登上 Hugging Face 熱門排行榜前列，反映全球社群的高度關注。阿里巴巴也提供速度更快的 API 版本，並開放模型權重直接下載及本機部署。
Qwen3-Omni 的特色
Qwen3-Omni 的設計讓思考與說話能夠並行。Thinker 元件負責多模態推理；Talker 元件則將 Thinker 的輸出轉為自然語音，同時直接以音訊和視覺特徵為條件。這種分工讓開發者能在 Talker 開口前，於 Thinker 階段加入檢索、安全檢查或商業邏輯，適用於受監管的工作流程。
Thinker 與 Talker
Thinker 是大型語言模型，以約 2 兆個文字、語音、圖片和影片 token 訓練而成。它採用混合專家路由機制，每個 token 只會啟用一小部分參數，因此可降低運算成本並提高吞吐量。Talker 則是輕量語音生成器，採用多碼本自迴歸架構保留音色和韻律，並以精簡的 Code2Wav 網路快速生成音訊。
即時串流與快取
延遲對對話至關重要。阿里巴巴表示，在串流情境下，音訊大約四分之一秒即可傳出第一個可聽見的 token，影片情境則約需半秒。音訊技術堆疊採用全新的 Audio Transformer 編碼器，以 2,000 萬小時的監督式音訊訓練而成，資料以中文和英文語音辨識資料為主，並涵蓋其他語言。此編碼器同時支援即時通話的線上快取，以及批次工作所需的離線編碼。
語言與長篇脈絡
開發者可以輸入長篇提示和逐字稿。Thinking Mode 支援最多 65,536 個 token 的脈絡，推理鏈最長可達 32,768 個 token；Non Thinking Mode 則支援最多 49,152 個 token。模型最多可接收 16,384 個 token 的輸入，並以文字生成最多 16,384 個 token 的輸出。目前語音系統支援 10 種輸出語言，足以應付客戶支援和外勤服務等全球試行計畫的實際需求。
模型、模式與價格
阿里巴巴推出 300 億參數系列的三種版本，讓團隊依不同需求調整。Instruct 模型整合完整的 Thinker 與 Talker 技術堆疊，可接收音訊、影片和文字輸入，並產生文字與語音。Thinking 模型著重複雜推理和長鏈思考，使用相同的多模態輸入，但只輸出文字，適合研究、分析和需符合法規的企業紀錄。Captioner 模型則是針對音訊描述微調的專用版本，旨在以較低的幻覺率，準確描述音樂、語音和混合音訊。
Qwen3-Omni 可從模型集散平台下載，在 GitHub 取得程式碼和權重，也可透過阿里雲以 API 使用，其中包括適用於互動服務、速度更快的 Flash 版本。新用戶可免費使用 100 萬個 token，自啟用日起 90 天內有效。付費方案按每千個 token 計價：文字輸入為 0.00025 美元，圖片或影片輸入為 0.00046 美元，音訊輸入為 0.00221 美元。輸出方面，只有文字輸入時，文字輸出每千個 token 為 0.00096 美元；輸入含圖片或音訊時，則升至 0.00178 美元。開發者若同時要求文字和音訊輸出，音訊部分每千個 token 收費 0.00876 美元，文字部分免費。
透過 API 使用時，只有 Non Thinking Mode 支援音訊輸出。這項安排簡化串流語音的排程，也避免與耗時較長的結構化推理衝突。需要完整思考鏈的團隊仍可用 Thinking 模型進行規劃或檢索，再將最終回應交給音訊轉換器或 Instruct 模型生成語音。
基準測試與解讀方式
阿里巴巴表示，Qwen3-Omni 在 36 項公開測試中表現出色，22 項取得最先進的成績，並在 32 項測試中領先開源模型。這些數據顯示，該系統兼顧文字與視覺品質，同時在語音方面取得進展。值得一提的是，在推理任務中，Qwen3-Omni 的 AIME25 得分為 65.0，ZebraLogic 為 76.0；WritingBench 得分為 82.6。在音訊轉錄方面，模型在 Wenetspeech 的詞錯誤率分別為 4.69 和 5.89，在 Librispeech other 則為 2.48，對該資料集而言相當低。音樂標記與分類的成績，例如 GTZAN 的 93.0 和 RUL-MuchoMusic 的 52.0，顯示模型對音樂類型和音訊特徵的辨識能力不俗。
視覺與數學基準測試也展現出模型的實力。HallusionBench 得分為 59.7、MMMU_pro 為 57.0、MathVision_full 為 56.3。在影片理解方面，Qwen3-Omni 在 MLVU 得分為 75.2。根據阿里巴巴公布的數據，在這些特定測試中，Qwen3-Omni 的表現優於包括 GPT 4o 和 Gemini 2.0 Flash 在內的許多封閉式模型。
基準測試無法涵蓋使用者在各種情境中面臨的所有狀況。真實對話可能有更多雜音，口音各異，光線也會改變；商業任務往往還需要串接多種工具。初期的獨立評測指出，即使小型模型在排行榜測試中表現亮眼，有時仍難以應對精心設計測試之外的情境。開發者應使用自己的資料進行概念驗證，特別留意領域術語、專業圖表或多人聲音重疊等邊界案例。
與 GPT 4o、Gemini 和 Gemma 的比較
Qwen3-Omni 所處的競爭市場中，還有 OpenAI 的 GPT 4o 和 Google 的 Gemini 2.5。這些系統實力堅強，且已整合至大型平台，但都不是開源產品。使用者須按呼叫次數付費，且無法合法修改基礎模型或再散布。Qwen3-Omni 採用 Apache 2.0 授權發布，這項寬鬆授權允許商業使用、修改程式碼和權重，以及再散布，並附有專利授權。對需要將 AI 直接嵌入產品或部署於私有基礎設施的企業而言，這種組合可降低法律風險。
在功能上，Qwen3-Omni 可接收文字、圖片、音訊和影片，並以文字或語音回答。GPT 4o 可接收文字、圖片和音訊輸入，並以文字和語音回應，但在其核心配置中無法接收影片片段。Gemini 2.5 Pro 可分析影片輸入，並透過 Google 服務提供文字與語音回應。阿里巴巴將 Qwen3-Omni 定位為原生多模態系統，讓語音和視覺成為核心功能，而非在文字核心上外掛的適配器。
Google 也以 Apache 2.0 授權開源 Gemma 3n。Gemma 3n 可接收影片、音訊、文字和圖片，但只輸出文字。對於想採用完整開源技術堆疊，並具備即時語音輸出的團隊來說，Qwen3-Omni 可能是目前唯一同時採用寬鬆授權且內建語音生成的選項。
Apache 2.0 對採用者的意義
授權條款決定模型可部署的環境，以及產品化的方式。Apache 2.0 允許微調，也允許以閉源方式再散布，無須公開衍生模型；此外還包括專利授權和貢獻者授權。對嚴格檢視智慧財產權的受監管產業而言，這些條款能降低整合風險。企業可以在自有伺服器、選定的雲端服務或邊緣裝置上部署 Qwen3-Omni，並將自訂模型保密。
企業與開發者的應用情境
Qwen3-Omni 可應用於多種工作。其多語文字與語音技術堆疊，可運用 19 種語音輸入語言和 10 種輸出語言，支援客服中心轉錄與即時翻譯。音訊描述器可描述音樂、環境音和混合音訊片段，協助編輯、檔案管理人員及輔助工具處理內容。視覺處理流程則可讀取螢幕截圖和照片中的文字與版面資訊，有助於自動化後台工作流程和客戶註冊作業。
影片理解是其一項關鍵能力。客服人員可分析手機拍攝的短片，辨識故障指示燈或接錯的電線。維護應用程式則可透過即時影像確認閥門是否已開啟。由於 Thinker 和 Talker 能並行運作，系統可在持續處理新進畫面的同時開始說話，讓免持操作維持近似真人的對話節奏。
明確區分思考與說話，讓開發者能掌握更多控制權。檢索系統可提供公司文件，政策篩選器可檢查內容，安全檢查則可在 Talker 生成音訊前審查推理軌跡。這種設計適用於須維持品牌調性的消費者助理、須避免資料外洩的企業摘要工具，以及需要逐步引導的外勤工具。
工具使用與代理
Qwen3-Omni 可串接外部工具和服務，處理複雜工作，包括呼叫搜尋、查詢資料庫或啟動工作流程引擎。阿里巴巴也正在其雲端平台建置代理框架，讓低程式碼和高程式碼團隊能組合工具、安排任務並部署至正式環境。Non Thinking Mode 的 token 脈絡長度超過 49,000，因此模型能維持長時間、多步驟的工作階段，並追蹤先前的操作。
採用情況、市場與策略
開發者的採用反應相當迅速。Qwen3 系列的多個版本在主要模型集散平台的熱門排行榜上名列前茅，Qwen3-Omni-30B-A3B 經常位居第一。這種能見度反映出中國開源模型在研究界和產業界受到關注的大趨勢。
市場訊號也指向相同方向。隨著投資人對阿里巴巴 AI 與雲端發展策略的信心升高，加上分析師近期上調評等、全球基金重新表達興趣，阿里巴巴股價上揚。公司正擴大資料中心布局，以服務中國以外的客戶，在巴西、法國和荷蘭興建新設施，並計畫在其他地區增加容量。阿里巴巴也大舉投資 AI 基礎設施，承諾未來三年投入數百億美元，並表示 AI 資本支出總額還將增加。
硬體合作也是計畫的一環。阿里巴巴宣布與 Nvidia 合作軟體整合，將 AI 開發工具用於訓練、模擬和驗證等領域。公司也預告將推出參數超過 1 兆的更大型 Qwen3 Max 模型，專攻進階程式碼生成與代理能力，顯示 Qwen3-Omni 是更廣泛模型系列的一部分，產品範圍從互動式助理延伸至大型研究模型。
阿里巴巴高層談話
阿里巴巴集團執行長吳泳銘在杭州舉行的公司年度大會上定調，指出 AI 和雲端將成為下一階段成長的雙引擎。他也說明了擴大海外資料中心、深化訓練與部署合作的計畫。
吳泳銘在談話中說明了公司增加 AI 投資的原因。
AI 和雲端與電子商務並列，都是阿里巴巴的成長引擎。我們將擴大支出與產能，以滿足全球需求。
Qwen 團隊研究員林俊旸則說明，這項計畫如何整合先前在語音和視覺領域的研究，打造出新系統。
我們整合了基礎音訊與影像專案，打造出 Qwen3 Omni。
風險、限制與觀察重點
即使基準測試成績亮眼，仍有一些問題需要在正式環境中才能找到答案。真實世界的音訊可能有強烈背景噪音、多人交談聲或罕見口音；影片也常出現眩光、動態模糊或遮蔽情況。如果服務需要在專業圖表上達到極高的召回率，或在特定領域提供符合法規要求的轉錄，便應預留時間整理資料並進行領域微調。
目前版本支援 10 種語音輸出語言，已涵蓋許多市場；但需要支援小眾語言的團隊仍須採用文字輸出或第三方語音引擎。Thinker 與 Talker 的分工也帶來不同選擇。有些組織可能偏好將長篇推理內容保留為文字，只在最終回答時合成語音；另一些組織則可能願意縮短輸出內容，以換取更快速的語音回應。這些取捨應依照使用者體驗目標進行測試。
開源授權有利於產品開發者，但也意味著任何人都能改造模型。企業應使用內容篩選器、濫用偵測和使用監控，防止模型遭到不當使用。另一方面，Apache 2.0 附有專利授權，可降低採用者的智慧財產權風險，是企業法遵團隊重視的關鍵因素。
這項技術的目標，是打造能以近似真人的速度，跨文字、視覺和聲音進行思考的多模態助理。如果 Qwen3-Omni 能持續在精心設計的評測之外證明實力，可能成為重視本機控制、成本可預測性和廣大開發者社群的團隊首選。
重點摘要
- Qwen3-Omni 可接收文字、圖片、音訊和影片輸入，並輸出文字與語音。
- 模型採用 Apache 2.0 授權開源，附有商業使用所需的專利授權。
- Thinker 負責推理，Talker 負責生成語音，兩者皆採用混合專家架構以提升速度。
- 據稱首個封包延遲在音訊為 234 毫秒，影片為 547 毫秒。
- 支援 119 種文字語言、19 種語音輸入語言及 10 種語音輸出語言。
- 目前推出三種版本：Instruct、Thinking 和 Captioner。
- API 文字輸入價格從每千個 token 0.00025 美元起，並提供 100 萬個 token 的免費試用額度。
- 基準測試顯示，模型在多項語音、影片和推理測試中名列前茅。
- Hugging Face 排名與投資人關注，顯示採用速度迅速。
- 阿里巴巴正擴大資料中心布局、深化與 Nvidia 的合作，並拓展 Qwen3 系列。
