人工智慧創下全新速度紀錄
2026 年 6 月 8 日,小米發布 MiMo V2.5 Pro UltraSpeed,這是一種推論模式,讓一款萬億參數語言模型在標準雲端圖形處理器上,生成速度突破每秒 1,000 個 Token。這項成就寫下首例:同等規模的模型在未依賴客製化晶片或專用硬體的情況下,跨越這道門檻。內部展示顯示,在配備 8 張 GPU 的單一通用運算節點上,持續生成速度最高接近每秒 1,200 個 Token。
目錄
要了解這項成就的意義,可以比較目前公開的基準測試。OpenAI 的 GPT 5.5 每秒約生成 68 個 Token;Claude Opus 4.6 約為每秒 71 個 Token,而 Google Gemini Flash 則達每秒 192 個 Token。小米 UltraSpeed 模式的輸出速度約為標準 ChatGPT 體驗的 15 倍,而且所用模型在軟體工程評測上的表現,已足以與頂尖系統競爭。
這項速度背後的模型是 MiMo V2.5 Pro,採用 1.02 兆參數的混合專家(Mixture of Experts)架構,脈絡視窗可容納 100 萬個 Token。與許多競爭對手不同,這套系統能在單一模型內原生處理文字、圖像、音訊與影片。小米以 MIT 開源授權釋出底層模型檢查點,開發者可自行託管、微調及商用部署,無須支付授權費用。
小米在人工智慧領域的意外崛起
多數消費者想到小米,會聯想到平價智慧型手機、電動滑板車,以及愈來愈受矚目的電動車。2026 年第一季,小米出貨 3,380 萬支手機,光是 5 月就交付超過 3 萬輛電動車。然而,在這些消費產品背後,小米還有專責的人工智慧部門,自 2025 年 4 月推出一款 70 億參數的小型推理模型以來,持續開發大型語言模型。
在此後 14 個月間,MiMo 系列已發展為市面上更具競爭力的開放權重模型系列之一。現役旗艦 MiMo V2.5 Pro 於 2026 年 4 月 22 日推出。在軟體工程任務的基準測試中,其表現接近 Claude Opus 4.6,但每個 Token 的價格約僅為八分之一。基礎模型標準定價為:快取命中時每百萬個 Token 收費 0.025 元人民幣;輸入快取未命中時每百萬個 Token 收費 3 元;輸出則每百萬個 Token 收費 6 元。
6 月 8 日的公告推出 UltraSpeed,作為直接建構於現有模型之上的高效能服務模式。速度提升並非來自修改模型權重或架構,而是完全仰賴推論最佳化;這項軟體成果也挑戰了人們對通用硬體效能的既有認知。
現代 AI 的速度成本
推論速度已成為大型語言模型競爭的關鍵戰場。系統生成 Token 的速度,不只決定使用者多久能收到答案,也左右哪些應用在經濟與技術層面可行。每秒生成 68 個 Token 的模型,適合人們依自己的閱讀速度使用的聊天介面;但對即時詐欺偵測、高頻交易訊號,或必須在數秒內反覆推理的自主編碼代理等低延遲敏感任務,這種速度就完全不敷使用。
為了解決這項瓶頸,幾家新創公司以客製晶片為核心建立整間企業。Cerebras 設計出約有餐盤大小的晶圓級晶片,配置 44 GB 的晶片內記憶體,以消除拖慢傳統 GPU 推論的頻寬限制。這套系統在 Meta 的 Llama 3.1 405B 上達到約每秒 969 個 Token;該模型的參數不到 MiMo V2.5 Pro 的一半。Groq 則開發出客製化語言處理器(Language Processing Unit)架構,依模型不同,可達每秒 300 至 750 個 Token。這兩種平台都無法在標準雲端租用服務提供的硬體上運作。
小米的做法不走這場硬體軍備競賽,而是同步最佳化軟體與模型設計,在可租用的通用 GPU 上達到相近速度。理論上,任何能使用標準 8 GPU 節點的開發者都能重現這項成果;這可能讓競爭優勢從專用晶片製造商轉向演算法創新。
以 FP4 量化壓縮智慧能力
UltraSpeed 的第一項核心技術,是稱為 FP4 量化的積極數值壓縮。標準模型推論通常以 16 位元或 8 位元精度儲存權重。每個參數都需要一定的記憶體頻寬;到了萬億參數規模,光是把權重從記憶體搬到處理核心,就會造成塞車,限制生成速度。
小米的解法是選擇性採用 4 位元精度。混合專家架構包含許多專家層,這些層容納絕大多數參數,而且更能承受精度降低。小米只將這些專家層壓縮為 MXFP4 格式,其他模型模組則維持較高精度,據報為 FP8。這種選擇性做法能縮小記憶體占用,同時不損害輸出品質,因為量化感知訓練已將壓縮整合至模型學習過程。基準測試顯示,量化版本的表現基本上與原始全精度版本相當。
由於專家層占模型大部分,這種選擇性壓縮大幅減少每次生成時必須在記憶體中傳輸的資料量。頻寬節省直接轉化為更高的吞吐量。
透過 DFlash 推測解碼平行預測
第二項核心技術針對語言生成的序列特性。一般而言,模型一次生成一個 Token,每個新 Token 都取決於先前所有 Token。推測解碼提供了一條捷徑:較小的草稿模型迅速猜測接下來的數個 Token,再由較大的目標模型平行驗證所有猜測。猜測正確時,系統便能節省時間。傳統推測解碼仍要求草稿模型逐一生成猜測,因此效益有限。
DFlash 是研究社群提出、經小米改良的方法,徹底消除了這項序列限制。草稿模型不再逐一猜測 Token,而是在單次前向傳遞中填入整個區塊的遮罩位置。小米運用 Muon 二階最佳化器與模型自我蒸餾來調整這個流程。草稿模型完全採用滑動視窗注意力(Sliding Window Attention),確保每次預測的計算成本不會隨對話長度增加。
在編碼情境中,系統每輪驗證平均接受 6.3 個 Token,而區塊大小上限為 8。也就是說,大型模型一次就能確認六或七個 Token,而非逐一生成。由於拒絕取樣能確保只有有效 Token 通過,輸出在數學上與標準解碼完全相同,因此提速不會犧牲品質。
以 TileRT 消除微秒級間隔
第三項核心技術瞄準一個只有在極高速度下才會浮現的隱形瓶頸。當推論速度超過每秒 1,000 個 Token 時,每個數學運算子只執行數微秒。傳統服務系統會逐一啟動運算子,各次啟動之間存在短暫間隔。一般速度下,這些間隔微不足道;到了 UltraSpeed 等級,它們會切斷執行流程,成為主要瓶頸。
TileRT 由小米與推論合作夥伴 TileRT 共同開發,透過持續駐留於 GPU 的常駐引擎核心(Persistent Engine Kernel)解決這個問題。核心不再啟動後停止,而是運用 Warp Specialization,將特定硬體執行緒分派至資料傳輸、計算與通訊,讓各項工作協調執行。就連 RMSNorm、旋轉位置嵌入(rotary position embeddings)及 KV 快取寫入等微小運算,也能不中斷地執行;這些運算通常會造成微秒級延遲。
TileRT 與 FP4、DFlash 的選擇同步設計,而非事後才加入。這種極致的模型與系統協同設計,確保三個層面緊密配合。小米明確指出,三項技術任何一項單獨使用,都無法達到每秒 1,000 個 Token;只有三者結合運作,才能創下這項紀錄。
實際影響與商業背景
突破每秒 1,000 個 Token 的門檻,改變了哪些應用適合採用頂尖級模型。平行推理因此變得可行,系統能在較慢模型完成一次推理的相同時間內,執行數十條 Best of N 或樹狀搜尋推理路徑。生成速度提升,也能減少自主步驟之間的等待時間,讓編碼代理受益。當延遲降至低於人類感知的門檻,交易訊號生成、詐欺攔截及即時對話系統中的即時決策循環也更具可行性。
小米透過公開展示呈現實際效果:一款功能完整的貪食蛇遊戲約 10 秒內生成;macOS 介面原型則約 1 分鐘完成。這些任務受吞吐量限制,原始 Token 速度是決定效能的關鍵因素。
UltraSpeed 可透過限量、採申請制的 API 試用取得,期間為 2026 年 6 月 9 日至 6 月 23 日。定價是 MiMo V2.5 Pro 標準費率的 3 倍,依目前匯率計算,輸入每百萬個 Token 約 1.29 美元,輸出每百萬個 Token 約 2.61 美元。小米承諾以這項溢價換取約 10 倍的生成速度。Token Plan 訂閱服務不適用於 UltraSpeed。獲准使用者可免費使用 Chat 兩週,但設有每日限制:每個帳號可排隊 10 次、每次工作階段上限 30 分鐘,閒置 5 分鐘後會自動釋出資源。
儘管取得這些技術里程碑,金融市場反應冷淡。小米股價於 6 月 11 日收在 2.91 歐元,僅比 52 週低點高 1.75%,今年以來下跌 35%。公司持續拓展業務,同日推出高階 17T 手機,在印度上市,並發布 MiMo Code 助理;也與長春市合作推動電動車業務擴張。營運動能能否扭轉股價表現,仍有待接下來的財報數據揭曉。
開源釋出與驗證問題
小米已在 Hugging Face 開源 MiMo V2.5 Pro FP4 DFlash 檢查點,包含量化權重與 DFlash 參數。TileRT 也在 GitHub 發布部分模組。這種透明度有助於社群進行獨立測試,而這將至關重要,因為目前所有速度數據都來自小米內部基準測試,尚未有第三方獨立驗證結果公開。
社群重現測試將檢驗幾個尚待解答的問題。第一,每秒 1,000 個 Token 的數字能否在小米受控試用環境之外的一般 GPU 執行個體上達成。第二,在開放式對話任務中是否會出現品質退步;目前推測解碼在這類任務的接受率低於結構化編碼任務。第三,TileRT 的常駐核心做法能否整合至已部署於正式環境的標準服務架構。
若獨立測試證實這些宣稱,小米便能以軟體達成競爭對手投入數億美元、試圖透過客製晶片取得的成果。這將顯示演算法協同設計可釋放過去被認為需要專用硬體才能達到的效能層級,並可能重新引導人工智慧產業的投資方向。
重點整理
- 小米 MiMo V2.5 Pro UltraSpeed 於 2026 年 6 月 8 日推出,成為首款在標準通用 GPU 上突破每秒 1,000 個 Token 的萬億參數模型。
- 速度來自三項協同技術:FP4 專家層量化、DFlash 區塊級推測解碼,以及 TileRT GPU 常駐執行環境。
- 底層模型 MiMo V2.5 Pro 在編碼任務上的基準測試表現接近 Claude Opus 4.6,但每個 Token 的價格約僅為八分之一。
- 不同於 Cerebras 和 Groq 等競爭對手,小米未使用客製晶片,而是透過雲端供應商提供的標準 8 GPU 節點創下紀錄。
- MiMo V2.5 Pro FP4 DFlash 檢查點依 MIT 開源授權於 Hugging Face 提供,TileRT 模組則發布於 GitHub。
- 限量 API 試用期間為 2026 年 6 月 9 日至 6 月 23 日,價格為標準費率的 3 倍,生成速度約快 10 倍。
- 截至 2026 年 6 月中旬,儘管取得技術突破,小米股價仍接近 52 週低點,今年以來下跌 35%。






