三星透過提升伺服器記憶體運用效率，力拚降低 AI Token 成本

不增加 GPU，也能處理更多 AI 請求

三星電子開發出一種方法，透過調整記憶體分配方式及處理器間的資料傳輸，讓人工智慧伺服器能同時處理更多請求。一項已公開的專利申請描述了一套軟體，會權衡等待時間、傳輸成本及未來的記憶體需求，決定大型語言模型應優先處理哪些請求。

這項技術旨在減少圖形處理器（GPU）記憶體滿載時造成的延遲，讓現有伺服器能服務更多使用者。三星將這項發明定位為 AI 推論的基礎設施技術，也就是執行已訓練模型來回答問題的過程，而非特定消費性產品的功能。

三星另一項相關研究，則具體呈現記憶體管理改善後可能帶來的效益。在一項使用 8 張 NVIDIA H100 NVL GPU 及 10 顆三星固態硬碟的儲存實驗中，三星在同時服務多達 240 名使用者時，將首個輸出 Token 的等待時間維持在 1 秒以內。若未將資料卸載至儲存裝置，使用者超過 140 人後，等待時間便開始增加。

這項專利、儲存實驗，以及三星 SDS 的另一項專案，分別著眼於同一問題的不同面向：昂貴的 AI 處理器可能耗費太多時間搬移或重建資訊。對營運商而言，減少這些工作有望讓現有設備產出更多回答，並降低每個 Token 的成本。Token 是語言模型處理及生成文字時使用的基本單位。

記憶體為何會拖慢回答速度

GPU 能同時執行大量運算，因此適合用來生成 AI 回應。不過，GPU 的高速本地記憶體容量有限。多段對話會爭用這些空間，尤其是使用者提交長篇文件，或提出需要長篇回答的問題時。

語言模型會將先前運算的暫存紀錄保存在一種稱為鍵值快取（key value cache）的結構中，通常簡稱 KV 快取。可以把它想成工作筆記：保留這些筆記，模型就能接續回答，而不必一再重新計算已處理過的內容。

三星的儲存實驗中，每個工作階段約需 3 GB 的 KV 快取。240 個工作階段合計約有 720 GB 的快取資料。這個數字說明，即使部署了大量運算能力，服務許多人仍可能面臨記憶體瓶頸。

GPU 高速記憶體不足時，伺服器可以將部分資料移至中央處理器（CPU）相關的記憶體，需要時再取回，但這些傳輸需要時間。重新計算已捨棄的運算結果也會消耗資源。三星的專利著重於更妥善地管理這些資源競爭。

專利排程方法如何運作

三星的專利申請名稱為「處理大型語言模型多個使用者請求的方法與伺服器」（Method and Server for Processing Multiple User Requests of a Large Language Model），描述一種會評估各請求服務成本的排程器。評估條件包括使用者已等待多久、資料傳輸需要多少時間，以及該請求需要多少記憶體。

伺服器會根據這些計算結果選擇處理順序。這點很重要，因為看似已準備好執行的請求，可能需要先進行大量資料傳輸；另一個請求則可能直接使用附近已有的資料。協調這些選擇，有助減少重新配置記憶體所花的時間。

這套方法也會檢查先前移至 CPU 記憶體的資訊是否仍留在其中。若有可用的資料副本，伺服器就能只搬移必要部分，不必再次複製所有內容。伺服器也能在 GPU 生成一名使用者的回應時，同步傳輸另一名使用者的資料，讓實際運算與準備工作重疊進行。

三星也說明了如何運用尚有空間的部分記憶體。若新請求需要 5 個單位的空間，但目前只剩 3 個單位，系統可以先處理能放入的部分，不必等到 5 個單位都到位。實際目標是在繁忙時段維持有限資源的使用效率。三星尚未公布這項專利方法的商用部署細節，以及實測回應時間和吞吐量的改善幅度。

三星儲存卸載實驗的測量結果

三星電子的KV 快取白皮書探討另一種做法：將可重複使用的快取資料保存在 NVMe 固態硬碟上。NVMe 是一種儲存技術，能讓儲存裝置透過 PCIe 連接快速與電腦通訊。

測試使用 8 張 NVIDIA H100 NVL GPU、8 個平行運作的 LLaMA-3.1 8B 推論服務、vLLM 服務軟體，以及開源的 LMCache。LMCache 是管理可重複使用 KV 快取資料的軟體層。測試將 10 顆三星 PM1753 硬碟組成 RAID-0 陣列，透過資料分散至多顆硬碟來提升傳輸效能。

三星以每次增加 20 人的方式測試使用者負載，最多達 280 人同時使用。每名使用者每 20 秒送出一次查詢，形成每秒 1 至 14 次查詢的工作負載。因此，這項實驗測試的是一種明確設定的重複請求與快取搬移模式。

當工作階段在不同 GPU 間轉移時，這種儲存方式便能派上用場。接手的 GPU 可以重新載入已儲存的運算結果，而不必重新處理長提示詞的初始內容。在同一台機器內，外部快取可以存放在 CPU 記憶體或儲存裝置中。三星指出，若跨機器使用，快取則需要由相關伺服器都能存取的共享資源提供。

更快開始回應，生成更多文字

三星測量兩項服務效能指標：首 Token 延遲及每秒 Token 數。前者衡量使用者要等多久才會看到回答開始出現；後者衡量系統隨時間產生多少文字。

啟用儲存卸載後，測試在同時服務多達 240 名使用者時，首 Token 延遲仍低於 1 秒；未啟用卸載時，使用者超過 140 人後延遲便開始增加。三星表示，在延遲相近的情況下，這代表系統能服務的使用者數增加至 1.7 倍。在 20 至 140 名使用者的範圍內，啟用卸載的配置將初始等待時間維持在約半秒。

使用者達 240 人時，啟用卸載的系統產生的輸出 Token 約為未卸載系統的 1.5 倍。未啟用卸載的配置約在 160 名使用者時開始達到飽和；重複使用已儲存快取的系統，則能隨需求增加持續提升輸出量。

三星將這項效益歸因於減少重複處理提示詞。語言模型會先處理輸入內容，這個階段稱為預填充（prefill），接著再逐一生成回應中的 Token，這個階段稱為解碼（decode）。重複使用已儲存的運算結果，可讓更多 GPU 能力投入回答生成。

額外儲存設備何時能回本

三星的成本分析顯示，即使額外硬體能在高負載時提升效率，也會帶來成本。在同時使用人數為 0 至 160 人的範圍內，兩種配置的 Token 吞吐量相近；使用卸載的配置則因增加 NVMe 元件，成本約高出 4%。

超過 180 名使用者後，較高的輸出量抵銷了額外儲存成本。使用者達 240 人時，三星計算出成本效益約提升 1.5 倍；此處的成本效益以三年運作期間每美元每秒可處理的 Token 數衡量。

換個方式來說，若每美元的輸出量提升 1.5 倍，依照這項計算，每單位輸出的成本約可降低三分之一。這項比較僅適用於三星測試的設備與工作負載。服務的實際成本效益也取決於模型、對話長度、流量及設備成本。

因此，對雲端營運商而言，實際選擇取決於需求。如果現有 GPU 容量已能輕鬆應付工作負載，增加儲存設備可能會提高初期支出。若長期持續塞車，重複使用快取則可能讓同一批 GPU 設備在增購伺服器前支援更多工作。

省電效益也延伸至散熱風扇

三星也測量了儲存實驗中的用電量。在 240 名使用者的負載下，每瓦效能提升約 2.9 倍。系統總功耗降至未啟用卸載配置的約 53%，減少約 47%。

白皮書指出，新增的 NVMe 硬碟讓功耗增加約 6%；不過，GPU 與散熱需求的下降抵銷了這部分增幅。當工作負載不再反覆執行耗費大量資源的預填充運算時，三星測得 GPU 使用率約為 49%。

散熱風扇也呈現出這項變化。未啟用卸載時，系統所有風扇都以預期最高轉速每分鐘 15,000 轉運轉。啟用卸載後，負責 CPU、記憶體與儲存裝置的風扇轉速約為每分鐘 7,800 轉，GPU 端的風扇則約為每分鐘 9,800 轉。

這項結果說明，某個元件即使增加局部用電，仍可能降低整台伺服器的總耗電量。在這項實驗中，消耗電力來取回已儲存的運算結果，降低了重複運算及排出運算熱量所需的更大筆能源支出。

儲存裝置必須承受突發負載

三星的測量也顯示，這種方法所需的不只是多餘的硬碟容量。儲存裝置的合計平均吞吐量最高達每秒 37 GB；多張 GPU 同時提出請求時，尖峰需求可能接近平均值的兩倍。

同時進行的儲存作業通常約有 160 筆，但尖峰時可能升至 800 筆。三星建議，儲存頻寬至少應達平均需求的兩倍，才能承受這些突發負載並維持回應速度。

PM1753 的規格最高可達每秒 14.5 GB 的循序傳輸速度，以及每秒 330 萬次隨機讀取作業。在測試工作負載中，讀取約占儲存活動的 92%，寫入則占 8%。LMCache 搬移的快取區塊約為 33 MB。

多項服務同時讀取大型區塊，可能形成交錯的請求串流。因此，當許多使用者同時開始使用時，儲存子系統必須維持傳輸效能。快取容量、傳輸速度及排程方式，都會影響已儲存的資訊能否及時送達 GPU，發揮實際效用。

三星 SDS 將運算帶進記憶體

三星 SDS 則從另一個方向著手解決資料搬移問題。其PAISE 研究介紹說明了記憶體運算推論排程引擎（Processing-in-Memory-Accelerated Inference Scheduling Engine），並於 IEEE HPCA 2025 發表。PAISE 使用記憶體內運算（PIM）技術，在記憶體晶片內配置運算單元，讓部分計算能直接在資料所在位置執行。

三星 SDS 在三星 Aquabolt-XL PIM 硬體上實作並驗證這套系統，測試 GPT-2、OPT 及 Llama2 模型。三星 SDS 表示，推論速度最高提升 48.3%，耗電量則降低約 11.5%。

PAISE 會判斷哪些操作適合在記憶體內執行，並按照硬體需求安排資料。它也會將較小的注意力運算分組，讓這些運算能更有效率地平行處理。三星 SDS 表示，這套系統能加快 KV 快取更新；在較大的批次規模下，效益也更明顯。批次規模指的是一同處理的請求組數。

這三個專案作用於伺服器的不同環節。專利負責安排請求，以及 GPU 與 CPU 記憶體間的資料傳輸；儲存實驗將快取保存在硬碟中以供日後重複使用；PAISE 則將特定運算移至記憶體硬體中執行。整體而言，三星正從多個方向著手，減少搬移或重建 AI 回應所需資訊的時間與能耗。

重點整理

• 三星已公開的專利申請，透過等待時間、傳輸成本及預估記憶體需求來安排 AI 請求。
• 這項專利方法旨在讓現有 GPU 服務更多使用者；商用效能數據尚未公開。
• 三星另一項儲存測試可同時服務 240 名使用者，並將初始回應等待時間維持在 1 秒以內；未啟用卸載時，使用者超過 140 人後延遲便開始增加。
• 使用者達 240 人時，儲存卸載讓 Token 輸出量與成本效益提升約 1.5 倍，每瓦效能則提升約 2.9 倍。
• 在較低負載下，增加儲存設備會讓成本上升約 4%，因此需求是評估經濟效益的重要因素。
• 三星 SDS 表示，其另一套 PAISE 系統透過在記憶體內執行運算，讓推論速度最高提升 48.3%。