為何此刻重要：開源多模態 AI 走向主流
阿里巴巴推出 Qwen3-Omni，這是一款可免費使用的多模態人工智慧模型，可接收文字、圖片、音訊和影片作為輸入，並即時以文字或自然語音回應。阿里巴巴將其定位為首款原生端到端全模態系統，將四種輸入類型整合在單一模型中，而非事後才將它們拼接在一起。此模型推出之際，OpenAI 和 Google 的領先系統仍屬專有產品，凸顯封閉平台與開源替代方案的鮮明對比；任何人都能依 Apache 2.0 授權下載、修改並部署這款模型。
目錄
它帶來的優勢很直接：企業和開發者能取得一款可跨模態運作、延遲低、語言涵蓋廣，並配備回應調整工具的模型。其影響不只體現在技術基準測試上。開放且適合企業使用的授權，讓使用者不再受制於單一供應商，也讓組織能選擇在自有基礎架構上執行模型。在許多公司正試圖平衡 AI 技術堆疊的成本、控制權與效能之際，這項差異別具意義。
Qwen3-Omni 緊接著一波全模態模型浪潮問世。OpenAI 的 GPT-4o 整合了文字、圖片和音訊；Google 的 Gemini 2.5 Pro 則加入影片分析功能。這些系統仍是付費且封閉的。Qwen3-Omni 將影片理解、語音輸入和語音輸出整合在同一套方案中，社群可以檢視並在其基礎上開發。這次發布也反映中國開源 AI 專案日益興起，在開發者平台獲得廣泛採用，並重塑競爭版圖。
Qwen3-Omni 是什麼，以及它如何運作
Qwen3-Omni 採用稱為 Thinker 和 Talker 的雙組件設計，分別針對處理流程中的不同階段進行最佳化。Thinker 負責多模態理解、推理和文字生成；Talker 則將核准的輸出轉為語音，並協調語音與視覺內容。兩個組件都採用專家混合（Mixture of Experts，MoE）架構，將模型拆分為多組專用參數，只在有助於處理時啟用。由於模型不必針對每項請求執行所有參數，因此推論速度更快，也更容易擴展。
Thinker 與 Talker 解說
在 Qwen3-Omni 中，Thinker 接收輸入，融合文字、圖片、音訊和影片的訊號，並以文字形式產生核心回應。長上下文推理、工具使用、檢索和安全過濾都可在此執行。關鍵在於，Talker 不必以 Thinker 的文字 token 為條件，而是直接依據音訊和視覺特徵生成內容。這項設計讓系統在翻譯時能產生符合原說話者語速與重音的語音，或依照畫面內容調整語音節奏。它也讓工作流程更容易控制，因為外部模組可在 Talker 將 Thinker 的輸出轉成音訊前，先行檢視或調整內容。
在語音方面，Qwen3-Omni 採用多碼本自迴歸方法，先預測精簡的聲學 token，再透過輕量級 Code2Wav 網路將其轉成波形。這項設計在保留語音細節的同時降低延遲。音訊編碼器稱為 Audio Transformer，是從頭訓練而成，支援串流和離線使用。
為低延遲串流而打造
Qwen3-Omni 以即時對話應用為目標。據稱，系統從端到端處理音訊的首個封包延遲約為 234 毫秒，影片則約為 547 毫秒。其即時因子低於 1，代表生成輸出的速度可與接收輸入一樣快，甚至更快。這對語音代理、客服中心副手、會議轉錄，以及任何延遲會打斷流程的應用情境都很重要。
語言涵蓋範圍與上下文限制
此模型支援 119 種文字語言、19 種語音輸入語言，以及 10 種語音輸出語言，也能處理長時間互動。Thinking Mode 提供 65,536 個 token 的上下文視窗，最長推理鏈可達 32,768 個 token。Non Thinking Mode 的上下文視窗為 49,152 個 token。輸入與輸出的上限均為 16,384 個 token。這些限制決定模型單次工作階段能接收和產生多少內容，對影片逐字稿和長篇文件尤其重要。
版本與部署選項
阿里巴巴推出 Qwen3-Omni-30B-A3B 的三種版本，分別針對不同用途進行調校。
Instruct 模型整合 Thinker 和 Talker，可接收文字、圖片、音訊和影片，並以文字和語音回應。Thinking 模型專注於推理和長鏈思考任務，接收相同類型的輸入，但只輸出文字，適合重視詳細書面回應勝過語音的情境。Captioner 模型則針對音訊字幕生成進行微調，著重降低幻覺，產生詳細的文字描述。三種版本涵蓋廣泛的多模態互動、深度推理和專門的音訊理解需求。
Qwen3-Omni 可供本機使用，也能透過雲端存取。開發者可從官方程式碼庫和社群平台下載模型權重，或透過阿里巴巴 API 呼叫速度更快的 Flash 版本。專案文件也提供快速入門指南、涵蓋語音辨識、翻譯、音樂分析、OCR 和影音對話等任務的操作手冊，以及 Docker 部署說明。GitHub 程式碼庫請見此處：https://github.com/QwenLM/Qwen3-Omni。
對於試用託管 API 的團隊，阿里巴巴提供跨模態 100 萬個 token 的免費額度，自啟用日起 90 天內有效。使用 API 時，音訊輸出僅支援 Non Thinking Mode。規劃試行專案和估算初期測試成本時，這些細節都很重要。
訓練流程一覽
Qwen3-Omni 透過多階段流程訓練，結合大規模預訓練與目標式後訓練。Audio Transformer 作為音訊編碼器，約有 6 億個參數，使用 2,000 萬小時的監督式音訊進行訓練。資料組成約為 80% 的中文和英文語音辨識、10% 的其他語言語音辨識，以及 10% 的音訊理解任務。此編碼器同時支援即時快取和離線處理。
預訓練分為三個階段。第一階段稱為編碼器對齊，訓練視覺和音訊編碼器，同時凍結語言模型核心，以免模型在早期融合期間的感知能力退化。第二階段稱為一般訓練，使用約 2 兆個 token 的資料集，涵蓋文字、音訊、圖片，以及較少比例的影片和影音樣本。第三階段則將 token 長度上限從 8,192 提高至 32,768，並加入更多長篇音訊和影片內容，以強化長序列處理能力。
後訓練則著重推理能力和語音品質。Thinker 經過監督式微調、由強至弱的知識蒸餾，以及結合規則式回饋和模型評審評分的 GSPO 最佳化。Talker 則經歷四階段流程，使用數億筆多模態語音樣本，並以精選資料持續預訓練，目標是降低幻覺率並提升語音自然度。
效能與優勢所在
根據阿里巴巴公布的公開基準測試，Qwen3-Omni 在語音、音訊和影片理解方面表現亮眼，同時在文字和視覺任務維持高分。它在多個開源排行榜領先，與封閉系統相比也有競爭力。
在文字和推理方面，模型在 AIME25 得分 65.0，在 ZebraLogic 得分 76.0；在 WritingBench 則達到 82.6。語音和音訊方面，它在 Wenetspeech 的字錯誤率為 4.69 和 5.89，在 Librispeech other 則為 2.48。音樂任務也表現出色，在 GTZAN 得分 93.0，在 RUL MuchoMusic 得分 52.0。圖片和視覺方面，HallusionBench 得分 59.7、MMMU pro 得分 57.0、MathVision full 得分 56.3。影片方面，MLVU 得分為 75.2。若外部評估也能重現這些數據，代表這款模型兼顧傳統文字任務與進階音訊和影片理解能力。
有兩點值得留意。第一，許多結果由公司自行公布。透過更廣泛的測試套件進行獨立驗證，才能更完整掌握模型在日常使用中的表現。第二，讓單一模型涵蓋四種輸入類型可能帶來取捨。公司資料試圖展現各模態間的均衡表現，但部分社群評論者指出，較早期以文字為主的 Qwen 版本，在特定狹窄任務上的純文字輸出略勝一籌。這是專用模型與通用模型之間常見的拉鋸。最新版本縮小了這項差距，同時解鎖專用模型無法比擬的跨模態能力。
價格、額度與使用限制
Qwen3-Omni 依 Apache 2.0 授權開源，可部署於本機。透過阿里巴巴 API 管理式存取時，費用依 token 計算。Thinking Mode 和 Non Thinking Mode 的每 token 費率相同。音訊輸出僅在 Non Thinking Mode 提供。
每 1,000 個 token 的輸入費用
- 文字輸入：0.00025 美元
- 音訊輸入：0.00221 美元
- 圖片或影片輸入：0.00046 美元
每 1,000 個 token 的輸出費用
- 僅文字輸入時的文字輸出：0.00096 美元
- 輸入包含圖片或音訊時的文字輸出：0.00178 美元
- 文字加音訊輸出：音訊部分為 0.00876 美元，文字免費
免費額度：跨模態 100 萬個 token，自啟用日起 90 天內有效。上下文限制相當寬裕，Thinking Mode 為 65,536 個 token，Non Thinking Mode 為 49,152 個 token。單次輸入上限為 16,384 個 token，輸出上限也為 16,384 個 token。最長推理鏈可達 32,768 個 token。正式使用時，可依這些上限決定如何分段處理長篇媒體和文件。
對企業的重要性
授權是這次發布的一大重點。Apache 2.0 授予商業使用、修改和再散布的權利，也包含專利授權，能降低模型整合進專有系統時的法律風險。使用者無須公開衍生作品，讓需要將微調版本保密的公司更容易採用。這與由供應商掌控的黑箱系統截然不同；後者的費用、速率限制和模型行為可能在使用者無從因應的情況下改變。
這次發布也促使企業重新思考架構決策。許多組織正轉向多模型技術堆疊，依任務混用開源和封閉模型，以快速、小型模型處理例行工作，並用大型模型進行複雜推理，同時將部分工作負載留在內部部署，以掌控資料。Qwen3-Omni 能力廣泛，可望用於語音密集、多語言及影音內容豐富的工作流程。由單一模型處理多種模態，也能減少需要訓練和維護的獨立系統數量。
成功部署仍需嚴謹規劃。安全審查、隱私控管、評估框架和微調流程仍是基本要求。模型開源，讓稽核和最佳化更容易，但安全與合規責任也落在採用者身上。投入 MLOps、工具使用和防護機制的團隊，最能發揮模型價值。
應用情境：從客服中心到現場服務
阿里巴巴指出多種能發揮模型優勢的應用情境。多語言轉錄和翻譯可結合低延遲語音輸出，用於即時對話。音訊字幕生成可支援媒體製作和內容無障礙服務。OCR 和文件理解則能處理表單、收據和圖表的圖片。音樂標記和聲音分析可協助媒體資料庫和創意工具。影片理解則可從教學影片或設備操作指南中建立索引、導覽內容並遵循指示。
一個具體例子是技術支援。客戶可用手機串流影片，模型同時讀取畫面文字、聆聽周遭音訊，並以語音提供逐步指引。另一個例子是穿戴式助理，可即時翻譯菜單或標示。開發者也能透過系統提示設定語氣、人設和領域界線，引導模型行為，並串接檢索工具、計算器或第三方工具以擴充功能。
採用趨勢與全球脈絡
初期採用情況顯示，開發者社群對此高度關注。Qwen3-Omni 的多個版本躍居熱門 AI 平台的趨勢模型榜前列，其他 Qwen 模型也占據多個熱門名次。這波熱潮凸顯中國團隊推出的開源系統正逐漸崛起，並與西方既有業者正面競爭。市場方面，在這次發布受到高度關注的當天，阿里巴巴港股上漲略逾 4%。
開源替代方案將對封閉系統的定價和產品策略形成壓力，尤其是在大量使用音訊和影片的情境中。需要快速測試構想、無須經歷冗長採購流程的企業，如今能以低成本執行全模態模型。若實際表現符合公布的基準測試結果，這次發布可能加速多模態助理在客服中心、媒體製作、教育、醫療轉錄和工業維護等領域的採用。
重點摘要
- Qwen3-Omni 是一款開源模型，可接收文字、圖片、音訊和影片，並以文字和語音回應，針對即時使用進行最佳化。
- 系統採用 Thinker 和 Talker 架構，搭配專家混合架構提升速度和擴展性，並使用專用 Audio Transformer 和 Code2Wav 渲染器。
- 目標延遲約為音訊 234 毫秒、影片 547 毫秒，串流即時因子低於 1。
- 語言涵蓋 119 種文字語言、19 種語音輸入語言和 10 種語音輸出語言；上下文視窗最長可達 65,536 個 token。
- 提供三種版本：適用於完整多模態輸入輸出的 Instruct、用於純文字推理的 Thinking，以及用於詳細音訊字幕生成的 Captioner。
- 依 Apache 2.0 授權開源，並提供 100 萬個 token 的 API 試用免費額度；託管服務則按 token 計價。
- 公司公布的基準測試顯示，模型在語音、音訊、影片和文字方面表現出色，多項指標達到業界頂尖水準。
- 企業可零授權成本部署、客製化並執行多模態 AI，擺脫對單一供應商的依賴，但仍須投入評估和安全工作。
- 社群採用速度迅速，Qwen 模型在開發者平台躍居熱門，外界對中國開源 AI 系統的興趣也日益升高。
