這家手機製造商如何改寫 AI 推論速度
週一早晨，小米做了一件令科技業意外的事。這家以平價智慧型手機、電動滑板車和家用空氣清淨機聞名的公司宣布，已突破人工智慧速度的一大瓶頸。全新的 MiMo-V2.5-Pro-UltraSpeed 推論模式，在一個 1 兆參數模型上每秒可生成超過 1,000 個 token，實機展示時峰值接近 1,200 個 token。這並非精簡版模型，而是完整的旗艦模型 MiMo-V2.5-Pro，是一套前沿 AI 系統，在程式碼基準測試中的表現足以媲美 Claude Opus。
目錄
這項消息令人震驚的，不只是速度，還有實現速度的硬體。小米使用一台配備八張一般商用 GPU 的標準節點，就達到了這些數據；這類設備各大雲端服務商都能提供。沒有自研晶片，也沒有餐盤大小的專用晶片，只有能在開發者今晚就租得到的硬體上運行的軟體創新。
參數是模型內部的數值權重，決定 AI 如何處理資訊。1 兆個參數代表模型能辨識文字與程式碼中極其複雜的模式。Token 則是模型讀取與生成的文字片段，每個 token 約等於四分之三個英文單字。每秒生成超過 1,000 個 token，意味著這個龐大的模型能以過去被認為非專用硬體不可的速度運作。
多年來，AI 推論加速競賽一直由資金雄厚、打造自研晶片的業者主導。小米剛證明，在標準設備上運用巧妙工程設計，也能超越這些業者。這項成果也帶出一個尖銳問題：當智慧型軟體最佳化能在容易取得的基礎架構上帶來更好的成果時，昂貴的專用硬體是否真的不可或缺？
每秒 1,000 個 Token 到底代表什麼
要了解這個數字的重要性，不妨看看一般使用者目前的體驗。根據 Artificial Analysis 的基準測試資料，支援多數 ChatGPT 對話的 GPT-5.5，每秒約生成 68 個 token。Claude Opus 4.6 約為每秒 71 個 token，Anthropic 較輕量的 Haiku 模型則可達 98 個。Google 的 Gemini Flash 速度更快，每秒 192 個 token。MiMo-V2.5-Pro-UltraSpeed 則是在一個 1 兆參數模型上達到每秒 1,000 個 token，速度將數百萬人每天使用的聊天機器人遠遠拋在後頭，接近其 15 倍。
每秒 68 個與 1,000 個 token 之間的差距，並非些微進步，而是代表完全不同的效能級別。以目前消費級產品的速度，使用者得等上好幾秒，才能看完一段文字逐字出現在螢幕上。以小米的新速度，一整頁分析幾乎能即時生成。對使用程式碼代理的開發者來說，體驗也會從延遲的來回互動，轉變為近乎即時的協作。
Token 是大型語言模型的基本計量單位。輸入提示詞後，模型會將文字拆解成 token 來處理；回覆時則逐一生成 token，並根據前面的內容預測下一個 token。模型生成 token 的速度越快，回應就越靈敏，也能在嚴格的時限內完成更多工作。速度也決定伺服器能同時處理多少請求，直接影響企業的成本與擴充能力。
MiMo-V2.5-Pro 先前推出的 Flash 模型，回覆速度已達每秒 150 個 token，約相當於每秒 110 個英文單字，比人類最快的閱讀或說話速度還快。UltraSpeed 大幅推高這個上限，生成速度不僅超越人類認知的處理節奏，也讓過去無法實現的機器工作流程成為可能。
小米如何超越自研晶片巨頭
AI 推論速度的瓶頸，吸引了數億美元資金投入專用硬體研發。Cerebras 設計了一款晶圓級晶片，大小約如餐盤，並配置 44GB 的晶片上記憶體，以消除頻寬限制。這款設計在 Meta 的 Llama 3.1 405B 上達到每秒 969 個 token，表現亮眼；但該模型只有 4,050 億個參數，不到 MiMo-V2.5-Pro 的一半。Groq 則打造了自研語言處理單元架構，依模型不同，可達每秒 300 至 750 個 token。這兩套系統都無法在 AWS 等服務商提供、開發者可租用的標準雲端硬體上運行。
小米的做法徹底翻轉了這種模式。該公司與推論合作夥伴 TileRT 攜手，透過所謂的「極致模型與系統協同設計」，創下這項紀錄，也就是同步最佳化 AI 模型與執行推論的軟體引擎。成果是在一般商用 GPU 上，讓 1 兆參數模型的速度超越專用晶片。若獨立測試證實這些基準數據，這項成果將顯示，軟體創新足以克服許多人認為必須靠自研晶片才能突破的硬體限制。
這項發展具有實質的經濟影響。自研晶片需要龐大的資本支出、漫長的設計週期與專業製造能力。一般商用 GPU 則享有規模經濟、供應普遍，且 NVIDIA 等製造商會持續推出改良產品。小米若能透過軟體解決推論問題，就有可能讓更多人以往只能由擁有專屬硬體、資金雄厚的實驗室享有的高速效能。
FP4-DFlash 檢查點模型在 Hugging Face 開源，又為這項普及化帶來新的意義。全球研究人員與開發者如今都能檢視、測試並調整底層模型，不必購買專有硬體或取得企業授權。這些技術能否廣泛應用於不同模型與使用情境，將由社群驗證來決定。
推動 UltraSpeed 的三項技術
這項突破仰賴三項相互配合的技術。單靠任何一項都無法創下速度紀錄，但三者結合，便能突破每秒 1,000 個 token 的門檻。
第一項技術是 FP4 量化。多數大型模型以 16 位元或 8 位元數值精度運作，代表每個參數需要兩個位元組或一個位元組的記憶體。小米將占 1 兆參數大多數的專家層壓縮至 4 位元精度，藉此縮小記憶體占用並降低頻寬負擔，讓資料能更快在系統中傳輸。量化的風險在於品質可能下降，因為降低精度可能損害模型的推理能力。小米採取精準的做法：只有專家層會壓縮，其餘模型則維持完整精度。該公司表示，最終的品質損失幾乎為零。
第二項技術是 DFlash 推測解碼。傳統推測解碼會先用較小的草稿模型快速猜測接下來幾個 token，再由大型模型平行驗證這些猜測。DFlash 則完全省去依序起草的步驟，改為一次前向傳遞，就填入整個區塊中被遮蔽的位置。在程式碼任務中，大型模型每輪驗證平均會接受 8 個提案 token 中的 6.3 個。也就是說，每一步能推進六個 token，而非一個，讓生成速度大幅加快。
第三項是 TileRT 推論引擎，它讓整條運算流程持續駐留在 GPU 中。標準推論服務系統通常會逐一啟動各個運算子，造成執行過程中出現短暫空檔。TileRT 消除了逐一啟動運算子的額外耗時，讓資料流不中斷。搭配壓縮後的模型權重與先進解碼策略，這套引擎得以維持過去在標準硬體上無法達到的吞吐量。
小米將這項組合稱為「極致模型與系統協同設計」，這個說法確實貼切。每一層最佳化都相互增益，合起來的整體效能超越任何單一技術獨自能達到的水準。
速度為何能解鎖全新應用
如果無法帶來新應用，單看基準測試數據毫無意義。MiMo-V2.5-Pro-UltraSpeed 每秒達 1,000 個 token，為較慢的系統打開了仍無法企及的大門。
想想開發者目前如何使用大型語言模型處理複雜任務。遇到棘手的程式問題時，使用者通常只能等一個答案，再祈禱它是對的。有了 UltraSpeed，同一位使用者便能在相同的即時時間內平行執行數十條推理路徑，並在背景自動驗證、修正結果。模型可以同時探索多種解法，而不是只沿著單一思路前進。這項能力從根本上將 AI 從循序作答的助理，轉變為平行解題工具。
對延遲時間有嚴格要求的產業，將能立即受惠。詐欺偵測系統必須在毫秒內評估交易；即時交易訊號生成無法承受數秒延遲；自主代理的循環流程，也就是 AI 系統快速觀察、判斷並採取行動，所需速度更是消費級聊天機器人無法提供的。每秒 68 個 token 時，這些應用會受到令人沮喪的瓶頸限制；到了每秒 1,000 個 token，就能在標準雲端基礎架構上實際運行。
即使在日常程式開發流程中，速度也會改變使用者的感受。過去開發者得盯著螢幕，等待推論完成。當輸出速度接近並超過每秒 1,000 個 token，等待時間幾乎消失。互動也從提出要求、等待回覆，轉變為與 AI 夥伴真正即時協作。需要快速分析患者資料的醫療應用，以及處理即時市場資訊的投資平台，都能立刻從這種反應速度中獲得實用效益。
使用方式、價格與開源發布
小米並未將這項技術鎖在門後。公司已推出限量 API 試用，期間為 2026 年 6 月 9 日至 6 月 23 日。試用採申請制，申請不保證通過；企業用戶和有明確業務需求的專業開發者將獲優先核准。由於高速推論資源有限，每個帳號每天最多可排隊十次，每次使用時間上限為 30 分鐘。閒置超過五分鐘的工作階段將自動釋出。
定價反映其速度所帶來的溢價。UltraSpeed 費用是標準 MiMo-V2.5-Pro 的三倍，但生成速度約快十倍。作為參考，標準 MiMo-V2.5-Pro 的價格已遠低於 Claude Opus：每百萬個輸入 token 約 0.43 美元、輸出 token 約 0.87 美元；Opus 則是每百萬個輸入 token 5 美元、輸出 token 25 美元。即使價格提高到三倍，小米的加速方案仍遠比許多競爭對手的前沿模型便宜。
偏好直接測試技術的開發者，可以在 Hugging Face 取得小米開源發布的 MiMo-V2.5-Pro-FP4-DFlash 檢查點模型。TileRT 也已在 GitHub 開源部分模組。此舉邀請全球研究社群驗證基準數據、實驗其架構，並探索將技術應用於其他模型的可能性。目前尚未有廣泛公開的獨立第三方驗證，因此未來幾週社群透過這些開源版本進行的測試，將成為真正的驗證依據。
小米悄然崛起，成為 AI 強權
對大多數消費者來說，小米仍是販售平價電子產品的品牌。該公司已在全球市場賣出數百萬支智慧型手機、電動滑板車和空氣清淨機。這種消費品牌形象掩蓋了其穩步成長的 AI 部門，直到現在，業界大多數人都未曾留意。
MiMo-V2.5-Pro 在 4 月推出時，已在多數程式碼基準測試中匹敵 Claude Opus。UltraSpeed 並未推出新模型，也不是降低規格的版本，而是加速同一套已在頂尖行列競爭的前沿級智慧模型。這個手機品牌實際上打造出足以媲美專業實驗室的 AI 能力，價格卻比對手低了一個數量級。
若速度宣稱經得起獨立檢驗，小米就將在不投入 Cerebras 和 Groq 等公司所需數億美元自研晶片資金的情況下，取得非凡成果。這將證明，在一般商用硬體上進行軟體最佳化，也能帶來領先同級的效能。這種結果可能改變人們對 AI 能力來源，以及哪些業者能在前沿領域競爭的看法。來自北京的消費電子巨頭剛加入 AI 基礎架構創新的頂尖行列，而它帶來的不是自研晶片，而是標準 GPU。
重點一覽
- 小米的 MiMo-V2.5-Pro-UltraSpeed 在一個 1 兆參數模型上，每秒可生成超過 1,000 個 token，只使用八張標準商用 GPU，不需要自研晶片。
- 速度約為 GPT-5.5 和 Claude Opus 的 15 倍，靠 FP4 量化、DFlash 推測解碼與 TileRT 推論引擎達成。
- 限量 API 試用於 2026 年 6 月 9 日至 6 月 23 日開放，價格為標準 MiMo 方案的三倍，生成速度約快十倍，企業與專業開發者享有優先權。
- 小米已在 Hugging Face 開源 FP4-DFlash 檢查點模型，供社群驗證並改良相關技術。
- 若獲獨立驗證，這項突破將顯示，在標準雲端硬體上進行軟體最佳化，效能可勝過專業 AI 硬體公司昂貴的自研晶片方案。
