多模態 AI 領域的新開源挑戰者
百度開源了全新的多模態模型 ERNIE 4.5 VL 28B A3B Thinking。這套擁有 280 億個參數的系統可處理影像、影片、文件與文字。百度表示，該模型在偏重視覺能力的基準測試中勝過領先的閉源模型，所需資源也更少。模型採用 Apache 2.0 授權，可不受限制地用於商業用途。如果這項說法經得起獨立測試檢驗，百度將成為企業級視覺推理模型的重要供應商，讓這類模型能在容易取得的硬體上執行。
目錄
ERNIE 4.5 VL 28B A3B Thinking 透過混合專家（Mixture of Experts）架構，將每個 token 啟用的參數控制在約 30 億個，僅占總參數量的一小部分；系統會將各項輸入路由至最相關的專家網路。這種選擇性啟用方式可降低運算與記憶體需求，同時保留大型模型的能力。百度表示，該模型可在單張 80 GB GPU 上執行推論，並在文件理解、圖表解讀與複雜視覺推理方面維持出色表現。
最受矚目的功能是百度所稱的「圖像思考」（Thinking with Images）。模型在推理過程中能放大或縮小影像、檢視細小區域尋找線索，並結合局部發現與整體場景資訊。這種方式符合人們解決視覺問題的習慣，也能提升閱讀密集技術圖表、找出產線瑕疵，或定位「第二個螺栓下方的藍色接頭」等參照物的能力。
百度也強調，模型的視覺定位能力更強、遵循影像任務指令的表現更佳，能使用包括影像搜尋在內的工具，並具備有時間脈絡感知能力的穩健影片理解功能。模型附有整合套件，可搭配 Transformers、vLLM 和 FastDeploy 使用，也提供名為 ERNIEKit 的訓練與微調工具包。在多數頂尖視覺語言系統仍為閉源的競爭激烈領域，這次發布為開發者與企業提供了採用商業友善授權的新選擇。
模型聲稱具備的能力
百度將模型能力分為六大領域：視覺推理、STEM 問題解決、視覺定位、工具整合、影片理解，以及動態影像分析。實際應用上，系統可閱讀並摘要發票或財務報表、分析圖表與表格、推理電路圖與幾何問題、依指示標出影像中的特定物件或區域、呼叫外部工具尋找參考圖片，並追蹤影片片段中的事件。
百度文件所列的排行榜顯示，該模型在一系列以視覺為主的測試中，表現可與 OpenAI GPT-5 High 和 Google Gemini 2.5 Pro 相當，甚至更勝一籌。測試項目包括圖表問答、文件理解及多步驟視覺推理基準測試。百度也強調速度優勢，聲稱在準確度相近的情況下，推論速度比同類模型快兩至三倍。
目前還沒有獨立研究機構驗證這些圖表。基準測試常獎勵模式記憶、提示格式或特定技巧，而非模型在混亂的真實部署環境中的可靠性。評估 ERNIE 4.5 VL 28B A3B Thinking 的企業，應先以自有文件、照明條件、攝影機角度與資安政策進行目標試行，再決定是否投入正式部署。
即使需要保持審慎，該模型涵蓋的任務範圍仍相當廣泛。推理、定位與工具使用能力的結合，讓它有機會應用於代理式工作流程，例如讀取保險案件佇列中的新申請、標記倉儲作業異常，或透過加註說明的照片與短片協助技術人員排除設備故障。
28B 模型如何在單張 80 GB GPU 上執行
關鍵在於混合專家架構：多個專業子網路位於路由器之後。對每個 token 或影像區塊，路由器會選擇少數專家啟用。運算只由這些專家執行，因此系統在每一步的表現像小型模型；但從多個步驟與任務整體來看，全部專家組成的網路仍提供更大的容量。由於任一操作期間大多數參數都不會啟用，這種架構能提高吞吐量。
選擇性啟用可降低記憶體需求與運算成本。要以實用速度執行，280 億參數的密集模型需要多得多的硬體。百度透過讓每個 token 啟用約 30 億個參數，聲稱這套視覺語言模型可在單張 GPU 上進行推論，讓更多研究機構能著手測試。代價是系統更複雜：工程師需要快速且平衡的路由器、仔細的負載平衡，以及穩定的訓練技術，以免工作都落在少數幾個專家身上。
圖像思考與精準定位
傳統視覺語言模型會接收固定解析度的影像並產生文字答案。「圖像思考」則加入了規劃迴圈。模型會將問題拆成數個步驟、判斷接下來要檢視的位置、以高解析度裁切區域、辨讀其中的文字或測量幾何資訊，然後更新計畫。這個迴圈會持續進行，直到蒐集到足夠證據作答。若任務要求指出位置，模型也能反向操作，將文字描述對應至像素座標，再繪製方框或遮罩。
在雜亂或技術性影像中，更精準的定位尤其重要。在製造業，兩個零件可能看似幾乎相同，放大後才看得出差異。在工程圖中，幾個像素的符號差異就可能改變圖示含義。在醫學影像中，細微的偽影也可能影響診斷。能在場景整體脈絡與細節間切換，並說明處理步驟的系統，能讓操作人員更清楚地稽核過程，也更容易找出並修正錯誤。
基準測試與真實工作負載
供應商的圖表通常彙整多項評測的分數。有些基準測試使用乾淨影像與完美裁切；另一些題目則可能已出現在訓練資料中。真實部署環境會出現眩光、動態模糊、特殊字型、遮蔽及多語標籤。當輸入內容偏離訓練資料分布時，模型表現可能大幅波動。因此，對於在特定測試中勝過 GPT-5 或 Gemini 的說法，應視為評估起點，而不是最終結論。
更可靠的做法是依任務進行評估。在文件處理方面，團隊可蒐集數百份具代表性的文件，以人工稽核的答案作為標準，測量欄位擷取準確率。在視覺任務方面，可模擬生產條件，再追蹤方框或遮罩標註的精確率與召回率。在圖表分析方面，則可建立含有特殊情況的合成圖表，例如對數刻度或堆疊序列。如此一來，模型的實際表現與失誤模式會更清楚。
訓練方法與開發者工具
ERNIE 4.5 系列採用結合傳統監督式學習與多模態任務強化學習的訓練流程。文件提及名為 GSPO 和 IcePop 的策略，用於穩定混合專家模型的路由器並改善獎勵塑形，另搭配動態難度取樣，讓模型隨能力提升而接觸更具挑戰性的範例。藉此，系統能針對圖片、圖表與影片進行多步驟推理規劃，而非只在單次推論中猜測答案。
該模型系列涵蓋純文字與視覺語言版本，從極小型密集模型到總參數量達數千億的大型混合專家系統都有。百度表示，這套架構可讓不同模態共用參數，因此文字與視覺元件能互相受益，同時不降低語言能力。訓練與推論透過百度的 PaddlePaddle 平台執行，團隊稱該平台在大規模運作時具備高硬體使用率。
百度也為開發者提供一系列工具。ERNIEKit 支援微調、偏好最佳化與量化，協助以較少資源部署。視覺語言模型可透過 Transformers 和 vLLM 等常用工具組提供服務，正式環境推論則可交由 FastDeploy 處理。Apache 2.0 授權大幅減少商業使用限制。官方模型頁面可在 Hugging Face 查看，程式碼與訓練配方則發布於百度 GitHub 儲存庫。
對企業的意義
開放授權與單張 GPU 推論，讓這款模型對希望在內部部署私有視覺 AI、而不將資料傳送至雲端服務供應商的團隊格外具有吸引力。文件量大的產業可嘗試將合約、發票與理賠案件導入智慧收件流程；製造商可建置結合視覺與語言指引的品質檢驗站，協助產線人員作業；零售與物流團隊可透過定位功能在倉庫中尋找商品並核對標籤；客服團隊則可讀取嵌入的圖表或螢幕截圖，讓聊天回覆更完整。
成本也是重要考量。許多組織無法為單一應用保留多台 H100 等級 GPU。若系統能在一張 80 GB 顯示卡上執行，便能降低試行與初期部署的門檻。定位、工具使用與影片理解能力的結合，也適用於代理式工作流程：模型透過多個步驟讀取、搜尋、點擊並推理，以完成任務。這與使用電腦的代理逐漸興起的趨勢一致；這類代理操作標準介面，而非仰賴客製 API。
更廣泛的競逐：開源模型與閉源服務
這次發布正值開源模型競爭熱絡的一年。DeepSeek 推出一款參數總量達數千億、每個 token 僅啟用數百億參數的大型混合專家語言模型，並表示該模型在一般基準測試中表現出色，訓練成本僅為閉源系統的一小部分。阿里巴巴的 Marco o1 則透過思維鏈微調與搜尋引導規劃等技術提升推理能力，以處理缺乏明確數值獎勵的開放式任務。
包括百度、阿里巴巴在內的中國研究機構，正日益以寬鬆授權發布能力出色的模型。開放存取讓區域開發者能減少對專有服務的依賴，自行打造應用，也促使全球供應商必須透過可靠性、工具或整合方面的明確優勢，證明較高定價的合理性。在許多領域，開源與閉源模型的效能差距已縮小，尤其是在圖表分析與文件擷取等專門任務上。
限制與待解問題
這套視覺語言模型仍有取捨：若要達到最佳效果，仍需要 80 GB GPU，因此許多消費級裝置無法使用。模型標示的上下文窗口為 128K tokens，雖有助於處理長篇 PDF，但同時納入大量影像、OCR 文字與指令時，容量仍有限。混合專家路由也會增加大規模部署的複雜度，工程師必須監控專家負載平衡，並避免路由熱點造成延遲尖峰。
安全仍是重要議題。影像系統可能遭對抗性圖樣或虛假相關性誤導。會主動裁切與放大影像的模型，也必須避免確認偏誤，不能在計畫出錯時仍持續查看錯誤區域。企業會希望模型在思考模式下提供清楚的每一步推理稽核紀錄，至少也要有工具呼叫與邊界框的結構化軌跡。百度表示，模型經過多模態強化學習與定位對齊訓練，但仍需廣泛的第三方評估才能建立信任。
重點整理
- 百度發布 ERNIE 4.5 VL 28B A3B Thinking，這是一款採用 Apache 2.0 授權、可供商業使用的開源多模態模型。
- 模型聲稱在偏重視覺能力的基準測試中勝過 GPT-5 High 與 Gemini 2.5 Pro，仍待獨立驗證。
- 模型採用混合專家架構，每個 token 約啟用 280 億個參數中的 30 億個，以降低運算與記憶體需求。
- 推論可在單張 80 GB GPU 上執行，降低試行與內部部署測試的門檻。
- 主要功能包括可放大與檢視影像的「圖像思考」、更精準的視覺定位，以及影片理解。
- 六項核心能力涵蓋視覺推理、STEM 任務、定位、工具使用、影片分析與動態影像規劃。
- 訓練採用多模態強化學習、GSPO、IcePop 與動態難度取樣，以穩定混合專家架構。
- 開發者工具包括 ERNIEKit，以及與 Transformers、vLLM 和 FastDeploy 的相容性，另提供公開模型頁面與程式碼儲存庫。
- 應用情境涵蓋文件處理、製造業品質控管、倉儲作業與客戶支援。
- 限制包括需使用 80 GB GPU、上下文窗口為 128K、混合專家路由複雜，以及穩健性與安全方面仍有待解問題。
