Aegaeon 如何大幅降低阿里雲的 AI GPU 需求
阿里雲表示，透過名為 Aegaeon 的新系統，大幅減少了大規模提供大型語言模型服務所需的 Nvidia 圖形處理器數量。在旗下模型市集進行的正式環境 beta 測試中，該公司指出，Aegaeon 將處理數十種模型所需的 Nvidia H20 GPU 數量從 1,192 張降至 213 張，這些模型包括參數量最高達 720 億的模型。在服務水準相同的情況下，部署的加速器減少了 82%。研究成果於首爾舉行的作業系統原理研討會（Symposium on Operating Systems Principles）發表，這是電腦系統研究的重要會議。對雲端服務採購者而言，這項成果代表可能降低成本與耗電量、提高稀缺晶片的供應能力，並讓使用者透過同一平台呼叫不同模型時，獲得更一致的體驗。
目錄
這項技術著眼於模型市集時代日益嚴重的痛點。如今，雲端服務供應商同時向開發者提供數千種模型。少數模型，例如阿里巴巴的 Qwen 系列和開放模型 DeepSeek，承接了大多數流量。許多其他模型則長時間閒置，偶爾才會短暫湧入請求。傳統服務架構會為每個模型執行個體配置完整 GPU 或大型 GPU 切片。模型沒有流量時，保留的 GPU 就會閒置；如果請求到來時沒有足夠的暖機複本，平台便須啟動額外容量，付出載入時間增加、吞吐量降低的代價。Aegaeon 試圖透過在多種模型間共用 GPU 資源，並以更細的時間切片排程工作，改變這種資源配置方式，讓每個加速器都能保持忙碌。
阿里雲將 Aegaeon 定位為一種減少浪費、同時處理多項 LLM 工作負載的方法。這套系統結合積極的多模型排程機制，並採用維持記憶體熱載入、以最短延遲在模型間切換工作的機制。根據北京大學與阿里雲研究團隊的說法，這能提高吞吐量、減少排隊，並降低配置給使用率偏低服務的閒置晶片數量。
Aegaeon 要解決什麼問題？
現代 AI 平台面臨長尾需求：少數熱門模型吸引了大部分推論流量。較少人使用的模型對開發者仍然重要，但收到的請求較零星。阿里雲測得，其模型市集中有 17.7% 的 GPU 被分配來處理僅占請求量 1.35% 的模型。當模型綁定專用加速器時，雲端服務商便得承擔閒置時間與頻繁冷啟動的成本，流量模式突發或難以預測時尤其如此。
從外部看，推論服務似乎很簡單，但內部運作相當複雜。大型語言模型會將權重與執行期狀態保存在 GPU 記憶體中。生成內容時，系統會維護鍵值快取，儲存已生成 token 的中間啟動值。從磁碟或透過網路載入模型權重的速度很慢；暖機鍵值快取也需要時間。傳統上，將 GPU 從一種模型切換到另一種模型，意味著必須付出高昂成本卸載並重新載入。這些開銷使頻繁共用資源變得不划算，因此多數加速器最多只能專用於一至兩種模型。Aegaeon 的設計目標是更有效率地管理這些轉換，讓 GPU 能在多種模型間分時共用，而不必承受高昂代價。
系統運作方式
Aegaeon 是一套多模型服務架構，將 GPU 視為共用資源池，並以極細的粒度決定要執行哪些工作。它不是以請求或模型複本為單位擴充，而是逐一 token 做出決策。排程器可以在同一張 GPU 上交錯生成不同使用者、不同模型的 token，同時讓高價值資料結構保持在記憶體中。其目標是在不超出嚴格延遲預算的前提下，將每秒的有效工作量推至最高。
Token 層級自動擴縮
核心概念是在 token 層級調整容量。這表示 Aegaeon 可以先處理一項模型請求，再趁有餘裕時，利用相同的批次處理與核心程式啟動，伺機排程另一種模型的 token。論文指出，與每張 GPU 僅多工處理兩至三種模型的替代方案相比，Aegaeon 可持續承受高出 2 至 2.5 倍的請求到達率，或提供多出 1.5 至 9 倍的有效吞吐量。透過以 token 為單位運作，系統能避免啟動新複本所造成的長時間停頓，並迅速因應任何單一模型的流量尖峰。
記憶體重用與 KV 快取協調
Aegaeon 透過重用元件、明確管理記憶體，以及以細緻方式在模型間同步鍵值快取，降低額外開銷。研究人員表示，與簡單直接的做法相比，這使自動擴縮的開銷減少了 97%。藉由更聰明的記憶體管理與快取處理，同一張 GPU 能讓多種模型隨時準備執行，無須不斷重新載入。如此一來，單一加速器最多可同時支援七種模型；先前的多模型系統通常只能支援兩至三種。
正式環境 beta 測試結果
阿里雲表示，已在旗下模型市集對 Aegaeon 進行超過三個月的 beta 測試。部署期間，系統服務數十種模型，包括參數量最高達 720 億的模型。團隊指出，在這段期間，滿足相同服務負載所需的 GPU 數量從 1,192 張 Nvidia H20 降至 213 張，資源節省幅度達 82%。系統也讓模型切換造成的延遲增加幅度降低 97%，有助於因應全天候在熱門模型與長尾模型之間交替的工作負載。
模型市集是很好的測試環境，因為其中有真實世界的並行工作、多種請求規模，以及各式各樣的模型。在這種情境下，Aegaeon 讓加速器維持更高使用率，減少低使用率服務的閒置時間，並透過更細緻的排程，維持熱門模型的回應速度。逐一 token 排程搭配審慎的記憶體重用，似乎是讓每 GPU 小時產出更多有效工作的關鍵。
北京大學與阿里雲研究團隊指出，業界將 GPU 配置給需求零星的模型，過去一直因此蒙受損失。他們在論文中直接提出結論：
Aegaeon 是首項揭示市場上並行 LLM 工作負載服務成本過高問題的研究。
這項主張與模型市集普遍可見的趨勢一致。供應商早已注意到，長尾需求會占用容量並推高所有人的成本。Aegaeon 展示了針對多模型服務設計的排程與記憶體管理，能夠解決這種浪費。
對雲端客戶與開發者的意義
對客戶而言，單位吞吐量所需的 GPU 減少，可能帶來更低價格、更充裕的配額，以及更穩定可預測的效能。如果雲端服務商能以約五分之一的加速器處理相同流量，就能釋出容量因應流量尖峰，並縮短新部署的等候時間。在同一個應用程式中串接多種模型的開發者，也可能在流量轉往不同端點時，遇到較少冷啟動與複本頻繁更替造成的瓶頸。
採購者也須留意實際問題。多模型共用必須維持隔離，避免一位租戶的工作負載影響另一位租戶的體驗或洩漏資料。排程器也必須遵守優先順序與公平性規則，讓熱門模型維持快速回應，同時讓較慢的模型仍能持續處理工作。論文指出，Aegaeon 的逐一 token 排程決策會將服務品質目標納入考量。即便如此，雲端服務商在擴大資源池共用規模時，仍須具備完善的可觀測性與流量限制機制，才能控制尾端延遲。
Nvidia、中國與 AI 晶片背景
Aegaeon 問世之際，全球高階加速器供應吃緊，美國也持續對中國實施先進 AI 晶片出口管制。Nvidia 為中國市場打造 H20，以符合相關規定，許多中國供應商仰賴這款裝置進行推論。同時，華為、寒武紀等中國晶片設計業者也在投資國產替代方案。能讓每張 GPU 處理更多工作的軟體效率，對任何市場都很有價值，但在取得最先進晶片受到限制的環境中，尤其重要。
Nvidia 管理層表示，受政策限制影響，近期財務展望假設中國先進晶片業務的營收極低或為零。在這樣的背景下，阿里雲的成果更具意義。如果大型供應商能透過軟體提高既有設備的使用效益，即使頂級加速器供應受限，仍可持續擴大服務規模。
Aegaeon 與其他方法的比較
直到最近，多數多模型服務系統在開銷超過效益之前，一張 GPU 最多只能安全地多工處理兩至三種模型。每增加一種模型，都會帶來更多情境切換、更多快取未命中，以及更多可能破壞延遲目標的抖動風險。Aegaeon 的設計著重於降低這些切換成本，並讓核心資料結構能在不同模型間持續留存，因此在論文所述條件下，單一加速器現在最多可支援七種模型。
對吞吐量要求最高的端點，或隔離要求嚴格的工作負載，專用執行個體仍然合適。另一端則是無伺服器推論：按需啟動完整模型複本，對低流量模型可能較具成本效益，但啟動時間較長。Aegaeon 採取折衷方式：集中共用容量並讓模型保持就緒，再以小時間切片排程工作，提高整體使用率，同時避免延遲大幅增加。
尚待釐清的技術問題與後續方向
這次 beta 測試在阿里雲模型市集進行，該環境規模可觀，但並未涵蓋全部服務。若將 Aegaeon 推廣至更多地區及不同產品線，例如企業專用叢集或地端部署架構，便能在不同限制條件下驗證這項設計。另一個問題是，隨著模型的上下文長度增加，以及多模態模型開始混合語言、視覺與音訊，排程器的效能會如何變化。這些情境將以新的方式考驗記憶體與快取策略。
另一條研究方向，是在異質加速器之間以及不同節點之間共用資源。如果排程器能透過互連網路池化一組 GPU，而不只是一張 GPU，就可能進一步提升效益，前提是互連開銷維持在低檔，而且記憶體配置仍可預測。目前已發表的證據顯示，單一裝置資源池化就能帶來顯著效益，對當前的推論工作負載而言，這已是重要的實務進展。
重點速覽
- Aegaeon 將阿里雲模型市集服務所需的 GPU 數量從 1,192 張 Nvidia H20 降至 213 張，減少 82%。
- 在超過三個月的 beta 測試期間，系統服務了數十種模型，包括參數量最高達 720 億的模型。
- 測試顯示，單一 GPU 最多可支援七種模型；先前的系統通常只能支援兩至三種。
- 逐一 token 排程、記憶體重用與鍵值快取同步，讓自動擴縮開銷減少 97%。
- 實驗顯示，與替代方案相比，系統可持續承受高出 2 至 2.5 倍的請求到達率，或提供多出 1.5 至 9 倍的有效吞吐量。
- 這項技術著眼於模型市集的長尾問題：少數請求占用了大量 GPU 資源。
- 研究成果發布之際，美國出口管制限制了中國取得先進 AI 晶片，而中國國產 GPU 的研發也正加速推進。
