原生多模態模型以開源形式推出
阿里雲發布 Qwen3-Omni，這是一款多模態 AI 模型，原生整合文字、影像、音訊與影片。此次發布結合廣泛功能與適合企業使用的開源授權，將即時助理領域的競逐推向新局面。模型可接收上述四種模態的輸入，並以文字或自然語音回應。它採用 Apache 2.0 授權，可免費下載、修改並用於商業部署；這項寬鬆授權也包含專利授權。此舉讓阿里巴巴成為 OpenAI 和 Google 專有產品的有力替代選項，也讓開發者能完全掌控模型的執行方式與位置。
目錄
Qwen3-Omni 是更廣泛的 Qwen 系列模型之一，該系列的功能範圍持續擴大。團隊表示，新模型以大型文字語料，以及大量音訊與視覺資料訓練，之後再進一步調校，使其能在即時對話中迅速回應。模型推出三種主要版本，對應常見需求。Instruct 版本可處理混合輸入，並以語音回答。Thinking 版本著重於較複雜的推理與長上下文。Captioner 則專精於音訊描述，並力求降低幻覺。使用者可透過官方 GitHub 儲存庫、Hugging Face 等模型平台取得模型，也可使用託管 API，以及速度更快的 Flash 服務選項。深夜發布會也推出全新的 Qwen3 TTS 系統與影像編輯模型，展現打造完整多模態互動技術堆疊的企圖。
這次發布為何重要
多模態助理正從展示階段邁向正式部署。企業希望使用單一模型，即時聆聽、觀看、閱讀與推理，再以自然的語調回答。Qwen3-Omni 正是針對這類需求打造。它採取開放取用方式，並據稱在多項語音、音訊、影像與影片測試中達到最先進水準；對需要彈性、價格掌控能力與地端部署的買家而言，這項發布意義重大。
Qwen3-Omni 與 GPT-4o、Gemini 有何不同
競爭對手讓「全能」模型的概念廣為人知，這類模型能看、能聽，也能說。OpenAI 透過 GPT-4o 將文字、影像與音訊整合在同一系統中。Google 則在部分產品方案中，將 Gemini 2.5 的分析能力擴展至影片。Qwen3-Omni 從底層開始打造，將四種輸入類型整合為單一端對端技術堆疊。模型支援影片理解，例如場景偵測與事件追蹤；可接收靜態影像與文件，以進行 OCR 和內容定位；也能聆聽語音並閱讀文字。回應則以文字或語音呈現，讓即時互動的輸出保持簡潔，同時避免生成影像或影片帶來的複雜性。
一項關鍵差異在於可用性。Qwen3-Omni 採用 Apache 2.0 授權，企業可下載模型權重，在自有基礎架構上執行，並針對特定產業微調模型行為，無須協商授權。專有系統則限制自行託管，或按每次互動的 token 數收費。Google 另一個開源模型系列 Gemma 仍僅支援文字，因此涵蓋的多模態範圍不同。對於希望以開源模型統一處理語音、視覺與文字任務的團隊而言，Qwen3-Omni 補足了現有選項的不足。
即時對話的速度
阿里巴巴公布的理論首封包延遲數據顯示，音訊約為 234 毫秒，影片約為 547 毫秒。這個範圍符合人類對輪流交談的預期；若搭配高效串流技術，在不同地區實現即時應用也具可行性。公布數據是在內部系統上測得，實際部署結果會因硬體、並行請求數與網路狀況而異。即便如此，負載下仍能達到低於一倍即時因子的延遲，顯示其設計著重於實際部署。
架構解析
模型採用團隊稱為 Thinker 與 Talker 的雙部分設計。Thinker 負責多模態理解與推理，能讀取文字、分析像素並聆聽音訊特徵，接著規劃並組織內容。Talker 專注於語音，將高階表徵轉換為自然語音，供串流回覆使用。將兩者分工後，語音技術堆疊便能按照自身節奏運作，同時讓語言模型預先思考後續內容。
兩個元件都採用專家混合（Mixture of Experts）技術，也就是訓練多個專門的子網路，每個 token 只啟用其中少數幾個。這種做法能提升高並行負載下的處理量，不必在每個步驟啟用所有參數。語音處理流程採用多碼本自迴歸架構，將音訊壓縮為離散碼，再由輕量級 Code2Wav 卷積網路將這些代碼轉換為波形。此方法能降低延遲，同時保留音色與語調韻律，讓語音在低延遲下聽起來不那麼機械化。
Talker 與 Thinker 的文字表徵解耦，並直接以音訊和視覺特徵為條件。這有助於語音在影音互動中配合畫面內容。在感知方面，音訊 Transformer 編碼器以約 2,000 萬小時的監督式音訊訓練。預訓練分階段進行：團隊先對齊編碼器，再以涵蓋文字、音訊、影像與影片的約兩兆個 token 進行訓練，接著擴展上下文長度，以支援長時間對話。後訓練則加入監督式微調、蒸餾，以及針對 Thinker 和 Talker 的最佳化程序。
版本、語言與上下文限制
Qwen3-Omni 以 Qwen3-Omni-30B-A3B 之名推出，並提供三種公開版本。Instruct 可接收音訊、影片與文字輸入，並輸出文字和語音。Thinking 版本針對複雜推理、數學步驟與規劃，並以文字輸出。Captioner 則針對詳細音訊描述進行調校。阿里雲也提供託管式 Flash 選項，目標是加快互動速度。
多語言能力是這款模型的重點。基礎模型支援 119 種文字語言、19 種語音輸入語言，以及 10 種語音輸出語言，包括廣東話等常用方言。這樣的語言配置有助於簡化全球部署，讓語音體驗能適應當地口音與文字系統。
模型可支援長時間對話。Thinking Mode 的上下文視窗最高達 65,536 個 token，非 Thinking Mode 則最高為 49,152 個。輸入和輸出的 token 上限均為 16,384 個。複雜推理的最長推理鏈可達 32,768 個 token。API 按每 1,000 個 token 計費，文字、音訊、影像或影片輸入，以及文字或音訊輸出分別採用不同費率。新帳戶啟用後 90 天內，可在不同模態合計使用 100 萬個 token 的免費額度。
基準測試與解讀方式
阿里巴巴公布了 36 項基準測試結果，涵蓋文字與推理、語音與音訊、影像與視覺，以及影音影片任務。據該公司表示，Qwen3-Omni 在 22 項測試中達到最先進水準，並在 32 項測試中領先開源模型。團隊也表示，在許多音訊與影音評測中，模型表現優於 GPT-4o 和 Gemini 2.5 Pro。評測類別包括語音辨識、音訊理解、影音問答、影片描述與語音生成。據稱，在文字密集型任務中，模型表現可媲美 Qwen 文字模型系列的成員。
基準測試可供參考，但不代表實際表現必然如此。各測試套件的範圍、指令格式與評分規則不盡相同。廠商會自行選擇公布的指標，不同測試批次也可能有利於特定架構或訓練資料。實際部署會遇到嘈雜音訊、不同麥克風、快速切換的場景，以及各種口音。團隊應使用自己的樣本進行評估，在高壓情境下測試幻覺問題，並衡量成本與處理量。儘管如此，公布結果涵蓋的任務範圍廣泛，顯示這款模型從訓練之初便將多模態列為核心目標，而不是後期才透過配接器加入相關能力。
Qwen 團隊在官方文件中將 Qwen3-Omni 描述為原生多語言模型，可處理文字、影像、音訊與影片，並以文字和語音提供串流回應。這項設計旨在讓語音保持自然，同時讓語言模型規劃下一步。
開發者現在可以打造什麼
儲存庫與示範專案提供常見任務的操作指南，許多功能無須大量客製化便能順利運作。團隊可先從簡單範例入手，再隨著信心增加，逐步擴展為正式環境的功能。
常見用途
以下情境與模型在感知、推理和語音方面的優勢相符：
- 用於即時通話、會議與媒體內容的多語言語音辨識。
- 常用語言組合之間的語音翻譯，並以口語回答。
- 環境音描述與音樂標記的音訊描述功能。
- 文件與螢幕截圖的 OCR，以及可指出相關區域的定位式回答。
- 針對複雜圖表或儀表板的影像問答。
- 影片描述、精彩片段擷取與事件偵測，方便瀏覽長片段。
- 用於訓練、支援與教學內容的影音問答。
- 能聆聽、觀看並逐步說明解決方法的即時技術支援。
- 呼叫外部工具和 API 以完成任務的代理式工作流程。
開發者可透過系統提示設定角色、語氣與格式，調整模型行為。模型支援即時串流，因此在推理持續進行時，也能提供部分答案。這種方式在語音助理中更自然，因為短暫停頓與快速釐清問題，通常比長時間沉默更合適。對於敏感部署，建議建立安全防護堆疊，包括強化提示、文字與音訊內容過濾，以及能記錄上下文與決策的政策引擎。
企業考量與授權
採用 Apache 2.0 授權具有重要意義。此授權允許商業使用、散布、修改與再授權，也包含專利授權，可降低將模型整合至產品時的法律風險。企業能在私有叢集或可信任的雲端執行 Qwen3-Omni，使用自有資料進行調校，並發布軟體，無須向供應商支付使用費。這種組合消除了廠商綁定，也降低各團隊進行實驗的門檻。
阿里巴巴指出，Qwen 系列周邊生態系正持續擴大。該公司表示，自首批 Qwen 檢查點推出以來，系列已發布數百款模型，下載量也達數億次。開發者已在公開平台發布數萬個衍生模型，縮短了從原型到正式部署的時間。對受監管產業而言，自行託管的多模態技術堆疊有助於符合資料落地與稽核要求，同時維持可預測的推論成本。
成本與營運
執行多模態模型需要周詳規劃。GPU 記憶體、音訊與影片的儲存頻寬，以及串流所需的高速網路，都會影響回應速度。按 token 計費的 API 有助於簡化早期開發，同時讓基礎架構團隊評估所需叢集規模。100 萬個 token 的 90 天免費額度，足以驗證可行性、微調提示，並使用內部資料評估品質。工作負載擴大後，組織通常會混合使用不同模型。開源模型可處理大多數日常任務，專有 API 則用於特殊情況或專業功能。這種做法能在維持彈性的同時降低支出。
風險與負責任部署
強大的音訊與影片理解能力有助於打造出色產品，也帶來遭濫用的風險。即使模型預設不會輸出特定目標人物的聲音，語音合成仍可能模仿其說話風格。能觀看並聆聽使用者的即時代理，需要明確的同意流程、安全的儲存機制與資料刪除政策。法務團隊應審查資料如何在裝置端擷取、伺服器與記錄檔之間傳輸，並設定符合相關法規的資料保留期限。
企業應針對幻覺、偏見與不安全內容，對模型進行壓力測試。在環境雜亂時，音訊描述可能誤判聲音；影片描述可能忽略不同鏡頭切換之間的上下文；過長的上下文也可能導致指令偏移。完善的評估計畫應包含對抗式提示、不同口音與方言的涵蓋度，以及針對安全界線的紅隊測試。允許終端使用者回報問題的回饋機制，有助於模型改進，也能讓部署過程更負責任。
如何開始使用
開發者可從 Qwen3-Omni 官方 GitHub 儲存庫下載模型權重與範例。快速入門指南會示範如何使用 Transformers、vLLM 等常用函式庫執行模型。另提供 Docker 映像與網頁介面示範，方便快速試用。希望先以串流語音進行原型開發，再決定是否投入自有基礎架構的團隊，可透過阿里巴巴 API 使用託管服務。模型平台則提供可直接使用的檢查點，以及社群製作的微調與評估指南。
重點整理
- 阿里巴巴以 Apache 2.0 授權及專利授權開源發布 Qwen3-Omni，支援免費商業使用與再散布。
- 模型可接收文字、影像、音訊與影片，並透過即時串流以文字或自然語音回應。
- 模型提供三種版本：用於多模態互動的 Instruct、用於複雜推理的 Thinking，以及用於音訊描述的 Captioner。
- 公布的延遲數據約為音訊 234 毫秒、影片 547 毫秒，目標是支援自然的輪流對話。
- 模型支援 119 種文字語言、19 種語音輸入語言與 10 種語音輸出語言，包括廣東話。
- 在 36 項測試中，阿里巴巴表示模型有 22 項達到最先進水準，並在 32 項測試中領先開源模型，音訊與影片表現尤為突出。
- Thinking Mode 的上下文視窗最高可達 65,536 個 token，輸入或輸出的上限為 16,384 個 token。
- API 提供 90 天內可使用的 100 萬個 token 免費額度，並按每 1,000 個 token 計費，費率依模態而異。
- 用途包括轉錄、翻譯、OCR、音樂標記、影片理解與即時助理。
- 企業可自行託管、微調並整合 Qwen3-Omni，同時採取安全、隱私與法規遵循防護措施。
