Moonshot AI 的 Kimi K2.5 Reddit AMA 揭開開源前沿模型的混亂現實

閱讀時間 10 分鐘
Moonshot AI 的 Kimi K2.5 Reddit AMA 揭開開源前沿模型的混亂現實

595 GB 遇上開發者的現實

Moonshot AI 的研究人員發布了業界分析師稱為史上最強大的開源人工智慧模型後兩天,登入 Reddit,面對一群既興奮又挫折的用戶。這家總部位於北京的新創公司有充分理由慶祝。Kimi K2.5 登上新聞頭條,話題包括縮小與美國 AI 巨頭的能力差距,以及測試美國晶片出口管制的界限。但在 r/LocalLLaMA 論壇等著的開發者更關心眼前的事。這個論壇聚集了工程師,交流如何在各種設備上執行大型語言模型,從單張消費級 GPU 到小型專業級硬體機架都有。他們想知道的是,自己到底何時才能真正用上這個模型。

目錄
  1. 595 GB 遇上開發者的現實
  2. 揮之不去的規模難題
  3. 規模化定律是否碰上瓶頸?
  4. Agent Swarm 內幕:100 個子代理如何共享記憶
  5. 從系統一轉向系統二
  6. 為什麼 Kimi 有時會自稱 Claude
  7. 在獎勵模型中尋找靈魂
  8. 除錯才是 AI 研究的真正日常
  9. K3 路線圖與持續學習
  10. 這揭示了 2026 年開放 AI 的哪些面貌
  11. 重點一覽

這場長達三小時的「有問必答」(AMA)活動,意外揭開了 2026 年前沿 AI 開發的真實面貌:不是企業行銷資料裡經過潤飾的版本,而是除錯失敗、管理個性漂移,以及面對當今開源 AI 核心矛盾的混亂現實。Moonshot 已公開模型權重,供任何人下載與客製化。模型檔案約 595 GB。對討論串中的多數開發者來說,這種開放仍純屬紙上談兵。

Moonshot 團隊有三名成員以 ComfortableAsk4494、zxytim 和 ppwwyyxx 這些使用者名稱參與活動。在約 187 則留言中,他們回答了架構、訓練方法,以及什麼形塑 AI 模型個性的哲學難題,也描繪了下一波進展可能來自何處,而答案不只是增加參數。

廣告

揮之不去的規模難題

第一波問題就把 Kimi K2.5 視為物流難題,而不是突破。一名用戶直截了當地問,Moonshot 為何不在旗艦模型之外也推出較小的模型。「8B、32B、70B 這類小型模型,非常適合追求高智慧密度,」他們寫道,指的是以十億為單位的參數量。另一名用戶表示,超大型模型已經很難讓人興奮,因為許多開發者根本無法執行。還有人以美國競爭對手的模型大小為目標,要求推出能在普通 GPU 上執行、專注程式開發的版本。

Moonshot 團隊當場沒有宣布要推出較小模型,但他們承認這項需求,語氣顯示這種抱怨並不陌生。「收到大家的需求了!」一名共同主持人寫道。另一人指出,Moonshot 在 Hugging Face 上已有一些較小的混合專家模型,但也提醒,小型與大型模型通常需要投入不同的工程資源。

最能說明問題的回答,出現在一名用戶詢問 Moonshot 是否可能打造約 1,000 億參數、適合本機執行的模型時。Kimi 團隊提出了另一種折衷方案:打造 2,000 億或 3,000 億參數的模型,讓它在多種任務上都高於團隊所稱的「可用性門檻」。這番回答點出了開放權重實驗室面臨的兩難。相較於兆級參數系統,2,000 億至 3,000 億參數的模型能讓更多人使用,但仍假設使用者具備多 GPU 配置,或採用積極量化等降低精度、節省記憶體的技術。

討論串中的開發者要的不是「稍微小一點」的模型,而是符合他們實際擁有硬體規格的模型;他們也希望路線圖將本機部署視為首要限制,而不是業餘玩家的事後考量。這場交流凸顯開源 AI 社群日益擴大的分歧:一方是發布需要資料中心等級基礎設施的大型模型的實驗室,另一方則是想在自有設備上執行系統的實務工作者。

廣告

規模化定律是否碰上瓶頸?

討論串逐漸從硬體問題轉向許多研究人員如今認為大型語言模型的核心問題:規模化定律是否開始趨於停滯?規模化定律指的是模型大小、資料量與效能之間可預測的關係,多年來一直推動 AI 進步。一名參與者直接詢問,規模化是否已經「碰上瓶頸」。

一名 Kimi 代表提出的診斷,如今在業界愈來愈常見。「高品質資料的增長速度不如可用運算資源,」他們寫道,「因此,沿用傳統的下一個詞元預測方式,並使用網路資料進行規模化,帶來的提升會愈來愈有限。」這番話點出一項根本限制:網路上的高品質文字終究有限,而 AI 實驗室已經用大部分資料訓練過模型。

接著,團隊提出了他們偏好的突破方向。他們指出 Agent Swarm 是 Kimi K2.5 的一項能力,可協調最多 100 個子代理平行工作,這種方式屬於「測試時規模化」,可能開啟提升模型能力的新路徑。測試時規模化是指增加模型推論時的運算量,也就是模型實際回答問題時所做的運算,而不是只在初始訓練階段增加運算。

依照團隊的說法,規模化不必只代表更大型的預訓練。也可以是在推論時增加結構化工作的量,再透過強化學習把這些洞見納入訓練。「或許會出現新的規模化典範,」一名共同主持人寫道。「展望未來,模型可能會在較少、甚至完全沒有人工先驗知識的情況下學習。」

這項說法意味著,進步的衡量方式可能正從參數量與預訓練損失曲線,轉向能夠規劃、委派與驗證的系統;這些系統將工具與子代理作為基礎元件,而不是依賴神經網路進行一次龐大的前向運算。

廣告

Agent Swarm 內幕:100 個子代理如何共享記憶

從表面上看,Agent Swarm 像是熟悉概念換上新包裝:許多 AI 代理合作完成任務。這場 AMA 揭露了更重要的細節,包括記憶存放在哪裡、如何協調,以及為何編排過程不會淪為一團混亂。

一名開發者提出多代理系統的典型疑慮。當規模達到 100 個子代理時,協調代理往往會成為瓶頸,不論是在延遲方面,還是在社群所稱的「上下文劣化」方面。上下文劣化是指對話紀錄塞滿內部交談與工具執行軌跡,導致模型逐漸忘記原本目標,效能因而下降。

一名 Kimi 共同主持人回覆了一項設計選擇,對在企業環境中打造代理系統的人來說至關重要。

子代理使用各自的工作記憶,並將結果回傳給協調代理,而不是把所有內容都串流到共用上下文中。這讓我們能以新的維度擴展總上下文長度!

另一名開發者進一步追問效能方面的說法。Moonshot 曾公開表示,Agent Swarm 在適合的工作流程中可達到約 4.5 倍的加速效果,但質疑者想知道,這個數字是否只反映特定任務可平行處理的程度。團隊同意,答案因情況而異。有時系統會判斷任務不需要平行代理,以免耗費額外運算資源。團隊也說明,協調代理必須管理子代理的詞元預算,為每個子代理分派適當規模的任務。

若從工程角度而非行銷角度來看,Moonshot 描述的是一種常見的企業架構模式:保持控制平面簡潔、限制工作程序的輸出,並避免以協調器無法消化的紀錄淹沒它。這種架構顯示,未來的 AI 系統可能更像分散式運算叢集,而非單體式聊天機器人。

廣告

從系統一轉向系統二

這場 AMA 暗示最具影響力的轉變,不是新的基準測試分數,而是研究優先事項的變化。一個問題詢問,Moonshot 是否正將運算資源從「系統一」預訓練轉向「系統二」強化學習。這些詞源自心理學家 Daniel Kahneman 推廣的認知模式:系統一是快速、直覺的思考;系統二則是較慢、審慎的推理。

以 AI 的語境來說,這代表從廣泛的模式學習,轉向明確獎勵推理能力,以及在多步驟任務中正確行動的訓練。一名 Kimi 代表回覆,強化學習所需的運算資源將持續增加,並表示新的強化學習目標函數很可能會出現,「尤其是在代理領域」。

這番話讀起來像是一份路線圖。隨著模型愈來愈常使用工具並拆解任務,實驗室會投入更多資源,訓練模型成為表現良好的代理,而不只是預測詞元。對企業而言,這點很重要,因為強化學習帶來的改進往往伴隨取捨。模型可能會變得更果斷、更熱衷使用工具,或更迎合獎勵訊號,而這些訊號未必能與企業的期望完全吻合。

當被問及 Moonshot 與 GPU 資源多得多的美國實驗室之間的運算差距時,團隊坦率以對。「我會說,差距並沒有縮小,」一名共同主持人寫道。「但要實現通用人工智慧,究竟需要多少運算資源?我們拭目以待。」另一人則提出較具哲學意味的說法:「有太多因素會影響可用的運算資源。但無論如何,創新總是在限制中發生。」

廣告

為什麼 Kimi 有時會自稱 Claude

如今,開放權重模型一經發布,往往就會面臨一種質疑:模型是否從競爭對手身上學得太多?這種質疑很快可能演變成蒸餾指控,也就是一個 AI 透過另一個 AI 的輸出進行訓練。一名用戶提出開放模型社群中最令人不安的說法之一:K2.5 有時會自稱是 Anthropic 的旗艦模型「Claude」。這暗示模型大量借鑑了對手。

Moonshot 沒有否認這種行為,而是說明它在什麼條件下會發生。團隊表示,只要系統提示詞設定得當,模型很可能會回答自己是「Kimi」,尤其是在思考模式下。但若系統提示詞留白,模型就會漂移至團隊所稱的「未定義區域」;這反映的是預訓練資料的分布,而非刻意的訓練選擇。

接著,團隊提出一項與訓練決策相關的具體解釋。Moonshot 表示,預訓練時增加了近期網路程式碼資料的採樣比例,而這些資料似乎更常與「Claude」這個詞元相關,可能是因為討論 AI 程式助理的開發者經常提到 Anthropic 的模型。團隊以基準測試結果反駁蒸餾指控。

事實上,K2.5 在許多基準測試上的表現似乎優於 Claude。例如 HLE、BrowseComp、MMMU Pro、MathVision 等。

對企業採用者來說,重要的不是網路上的爭論,而是模型身分漂移確實是一種失效模式。組織通常可以透過控制系統提示詞來減輕這個問題,而不是任由模型的自我描述取決於機率。這場 AMA 將提示詞治理視為確保部署可靠所需的日常管理,而非改善使用者體驗的點綴。

廣告

在獎勵模型中尋找靈魂

討論串反覆出現一個主題:K2.5 的寫作風格比早期 Kimi 模型更為制式。用戶形容它更像一般的「樂於助人型助理」;許多開發者如今認為,這是經過大量後訓練的模型常見預設個性。一名用戶表示自己很喜歡 Kimi K2 的個性,並詢問後來發生了什麼事。

一名 Kimi 共同主持人承認,每次推出新版本都會帶來一些個性上的變化,並指出個性具有主觀性,也很難評估。「這是個相當棘手的問題,」他們寫道。團隊表示,希望改善這個問題,讓每位用戶都能更自由地客製化個性。

在另一段討論中,有人問強化程式碼能力是否會犧牲創意寫作與情緒智慧。一名 Kimi 代表主張,只要模型夠大,兩者並無必然衝突。但他們也表示,要在不同版本中維持「寫作品味」並不容易,因為獎勵模型不斷演進。團隊仰賴內部基準測試,也就是一種中繼評估,追蹤創意寫作的進展,並據此調整獎勵模型。

另一則回答更進一步,使用了在企業 AI 規格書中或許少見、但每天使用這些工具的人都熟悉的詞彙。團隊談到獎勵模型的「靈魂」,並提出儲存反映用戶品味的「狀態」,再用它來調節模型輸出的可能性。這段交流指向一項企業常低估的產品發展方向。風格漂移不只是美學問題,它可能改變模型解釋決策的方式、表達保留的方式、處理模糊情況的方式,以及與客戶和員工互動的方式。

廣告

除錯才是 AI 研究的真正日常

在被問及訓練與強化學習過程中是否有意外收穫時,一名共同主持人用一個加粗的詞回答,揭示了最值得注意的文化面貌:除錯。

無論是預訓練還是後訓練,有一件事始終是最優先的工作:除錯。

這則留言點出貫穿整場活動的主題。當有人問及他們如何用「規模化階梯」方法,在不同模型大小下評估新點子時,zxytim 分享了一段失敗經驗。團隊曾急著將實驗性線性注意力架構 Kimi Linear 納入前一代模型,但模型在某個規模下沒能通過規模化階梯測試。團隊因此退一步,進行共同主持人所稱的「艱難除錯過程」,花了好幾個月才終於讓它運作起來。

「從統計上來看,多數在小規模下可行的點子,都無法通過規模化階梯測試,」他們接著說。「能通過的通常簡單、有效,而且有數學根據。研究大多是在管理失敗,而不是慶祝成功。」

對評估 AI 供應商的技術主管而言,這番坦白很有啟發性。前沿能力並非只靠優雅的突破而來,也來自不懈地定位故障,以及願意花上數個月處理可能不會成功的問題的組織文化。這番現實提醒,與產品發表時常見的精美敘事形成鮮明對比。

廣告

K3 路線圖與持續學習

這場 AMA 也含蓄透露了 Kimi 下一代模型的消息。開發者詢問 Kimi K3 是否會採用 Moonshot 的線性注意力研究;這項技術旨在比傳統注意力機制更有效率地處理長上下文。團隊成員表示,線性方法是認真考慮的選項。「Kimi Linear 很可能會成為 K3 的一部分,」一人寫道。「我們也會加入其他最佳化。」

在另一段交流中,一名共同主持人預測,K3「會比 K2.5 好很多,甚至可能提升 10 倍」。團隊也強調,他們正積極探索持續學習,暗示未來的代理能在更長的時間跨度內有效工作。若要讓代理處理持續進行的專案,而不只是單輪任務,這對企業來說至關重要。

「我們相信持續學習能提升代理能力,讓代理有效工作更長時間,」一名共同主持人寫道。至於 Agent Swarm,團隊表示,等系統更穩定後,計畫向開發者提供編排框架。「希望很快就能推出,」他們補充說。

這揭示了 2026 年開放 AI 的哪些面貌

這場活動並未解答所有問題。對多模態訓練配方、防範獎勵駭入,以及資料治理等最技術性的提問,團隊表示將留待即將發布的技術報告再談。這並不罕見。如今許多實驗室都把對實際運作最具決定性影響的細節視為敏感資訊。

但討論串仍揭示了 AI 競爭焦點的轉變。最重要的差距不在中國與美國之間,也不在開放與封閉之間,而在模型承諾與系統實際交付能力之間。編排正成為產品本身。Moonshot 推出的不只是一個模型,也是一種觀點:下一波進步將來自能拆分工作、使用工具,並快速回傳結構化結果的代理。

隨著開發者要求的是能在本機執行的開放,而非必須仰賴資料中心的開放,開放權重正與硬體現實碰撞。競爭焦點也從原始智慧轉向可靠性:不再只是基準測試多拿兩分,而是要除錯並規範工具呼叫、管理多代理工作流程中的記憶,並保留難以量化、卻決定用戶是否信任輸出的「品味」。

Moonshot 在一場高調發布及地緣政治論述升溫之後現身 Reddit。等在那裡的開發者關心的是更實際的問題:開放何時才能真正代表可用?從這個角度來看,這場 AMA 不只是在推廣 Kimi K2.5,也呈現了產業轉型中的一個切面:從更大型模型轉向更有結構的運算,從封閉 API 轉向仍需大量工程投入才能部署的開放權重,以及從慶祝成功轉向管理失敗。

重點一覽

  • Moonshot AI 發布 595 GB 的開源模型 Kimi K2.5,隨後在 r/LocalLLaMA 舉辦 Reddit AMA,回應用戶對實際可用性的疑問
  • 開發者要求推出適用於本機硬體的較小模型(80 億至 700 億參數),但 Moonshot 認為,要廣泛實用,模型至少需達 2,000 億至 3,000 億參數
  • 團隊承認,高品質訓練資料有限,導致規模化定律逐漸趨於停滯;因此轉向透過 Agent Swarm 協調 100 個子代理,以「測試時規模化」尋求突破
  • Agent Swarm 為每個子代理配置獨立工作記憶,以避免上下文劣化;協調代理則負責管理詞元預算與任務分配
  • 強化學習的運算資源將增加,研究重點從系統一的模式比對轉向系統二的推理與代理行為訓練
  • Moonshot 將模型身分漂移(自稱「Claude」)歸因於提高了程式碼資料的採樣比例,而這些資料經常提到 Claude,並非蒸餾所致
  • 不同版本之間的個性與「靈魂」仍難以衡量和維持;團隊計畫加入反映個人品味的用戶專屬狀態
  • 預計 Kimi K3 將納入線性注意力架構與持續學習能力,以支援長時間跨度的代理任務
分享本文

您可能也喜歡