SINQ 為何攸關大型語言模型的日常部署
大型語言模型非常耗用記憶體。這也是執行先進模型往往需要高階資料中心 GPU 和昂貴雲端運算節點的原因之一。華為蘇黎世運算系統實驗室推出新的量化方法 SINQ，盼能改變這種情況。這項名為 Sinkhorn 正規化量化（Sinkhorn Normalized Quantization）的方法，目標是在盡可能不影響輸出品質的前提下降低記憶體用量，並以 Apache 2.0 授權條款開源。研究團隊表示，SINQ 速度快、不需校準，且能輕鬆整合至現有模型工作流程。
目錄
量化會降低表示模型權重所需的位元數。將 16 位元或 8 位元浮點數改為 4 位元整數，可讓記憶體用量減少一半以上。不過，要達到這種節省效果而不犧牲準確度並不容易，尤其是精度低於 8 位元時。SINQ 的主要特色是能在低精度下維持良好品質，即使採用 4 位元，部分情況下甚至是 3 位元也不例外，而且應用速度比許多已知方法更快。
根據作者對多種模型和架構進行的測試，SINQ 可將記憶體用量降低約 60% 至 70%。如此大幅的降幅，讓許多模型能在單張消費級 GPU 上執行，例如配備 24 GB 記憶體的 Nvidia GeForce RTX 4090，無須仰賴 A100 或 H100 等企業級 GPU。對雲端工作負載而言，較便宜的運算執行個體便能處理長時間推論任務，長期下來可省下數千美元。對實驗室、新創公司和在地模型愛好者而言，在工作站上執行高效能模型的門檻也隨之降低。
SINQ 與以往量化方法有何不同
目前大多數大型語言模型量化方法只量化權重。權重是各層學習到的參數，也是模型大小的主要來源。啟用值也可以量化，但往往會增加複雜度，並可能影響執行時間。許多廣泛使用的方法會在稱為「校準」的準備階段花費額外運算時間，搜尋可將量化誤差降至最低的縮放因子。校準會使用一部分資料，並多次執行模型。這麼做有助於維持品質，但耗時、需要謹慎挑選提示詞，也會讓工作流程更複雜。
SINQ 採取不同做法，提出兩項相互關聯的概念，目標是在將權重四捨五入至低精度前，讓權重分布維持穩定。首先，雙軸縮放會分別沿著權重矩陣的列與欄套用縮放向量。相較於對整個張量或每個通道使用單一縮放值，這種方式能更細緻地控制縮放。它會分散誤差，降低離群值和局部不平衡造成的影響。
其次，SINQ 採用受 Sinkhorn Knopp 正規化啟發的程序，透過交替進行簡單的正規化，平衡列與欄的統計特性。在 SINQ 中，這個方法會正規化列與欄的標準差，避免權重矩陣的任何部分占據主導。這項平衡步驟能改善權重對量化的反應，並降低整體誤差，且不需要耗費成本進行逐層校準。
測試中的記憶體節省、速度與品質
作者表示，與全精度權重相比，SINQ 可穩定節省約 60% 至 70% 的記憶體；在各種架構上的準確度也接近原始模型。實際上，原本需要超過 60 GB 記憶體的模型，用量可降至約 20 GB。在一般消費級 GPU 上，這樣的差異可能決定模型究竟能否放入記憶體，還是得移至速度較慢的主機 RAM。
無論研究或正式部署，量化速度都很重要。根據測試結果，SINQ 的模型量化速度約為 HQQ 的兩倍，並比 AWQ 快 30 倍以上。對需要反覆調整模型的團隊而言，原本耗時數小時的前處理作業，可因此加快至能納入開發循環的步驟。
品質會以困惑度和翻轉率等指標衡量。困惑度衡量語言模型預測文字的能力；翻轉率則計算量化前後最可能出現的詞元改變頻率。在各項基準測試中，SINQ 的困惑度低於其他不需校準的基準方法，翻轉率也較低，顯示輸出更穩定。這項方法也適用於非均勻量化方案；若專案希望進一步提升準確度，也可搭配校準使用。
對硬體與雲端成本的影響
推論成本會隨記憶體用量而變動。若模型能在單張 GPU 上執行，就不必採用昂貴的模型平行架構，也能避免網路額外負擔。SINQ 降低記憶體用量後，許多中大型模型便能在單張高記憶體容量的消費級顯示卡上執行。對過去仰賴 A100 或 H100 節點的營運者而言，改用更實惠的 GPU 提供服務，可降低每月帳單，並將高階硬體留給訓練工作。
雲端使用者可以選擇規格較低的 GPU 執行個體，或在每個節點上同時執行更多模型。對聊天助理或檢索增強生成服務等長時間運作的工作，使用成本較低的 GPU，數週或數月下來可省下數千美元。偏好將資料留在內部的團隊，也更有機會採用規模較小的地端叢集。
此外，延遲和耗電量也可能降低。使用較少裝置、減少跨節點呼叫，以及降低主機與裝置之間的記憶體傳輸，都有助於縮短回應時間並降低功耗。整體而言，服務架構可因此更精簡，所需的元件也更少。
開發者現在能用什麼
SINQ 以 Apache 2.0 授權條款開源。此次釋出內容包括實作程式碼、從熱門模型平台量化模型的操作說明，以及儲存和重新載入量化權重的工具。套件也提供評估介面，讓團隊能在部署前測量困惑度和翻轉率，並開放多項參數，供實務工作者依不同硬體和準確度目標進行調整。
作者表示，計畫釋出預先量化的模型，並希望整合至 Hugging Face Transformers 生態系。屆時開發者便可透過熟悉的 API 載入量化後的模型檢查點，讓採用流程更簡單。自行管理推論堆疊的團隊，可以先量化權重，再將結果連接至支援所選執行環境中 4 位元或 3 位元儲存格式的核心程式。
技術重點解析
SINQ 是為模型準備流程中的即插即用步驟而設計。其目標是調整權重矩陣，使低精度表示方式保留推論所需的重要結構，再將調整後的權重轉換為精簡的整數格式。
雙軸縮放
傳統的逐張量或逐通道縮放，只會沿單一方向套用一個縮放因子。雙軸縮放則會對每個權重矩陣，分別沿列和欄套用向量。若某些列含有離群值，或特定欄的變異較大，分別縮放兩個方向便能有所幫助。透過同時正規化兩個方向，這個方法可讓量化誤差更平均地分散到整個矩陣，減少誤差突增，並更妥善地保留權重之間的相對大小。
Sinkhorn Knopp 正規化
Sinkhorn Knopp 是一種經典的迭代程序，透過交替進行簡單的正規化，讓資料達到平衡狀態。在 SINQ 中，目標不是將矩陣轉換為雙隨機矩陣，而是平衡列與欄的標準差。演算法會反覆重新縮放列與欄，使其標準差符合目標值。矩陣完成這種平衡後，量化便能在極端值較少的權重分布上進行，進而降低四捨五入誤差。此程序速度快，相較於較長時間的校準流程只增加少量額外負擔，也不需要校準資料集。
免校準設計
校準階段需要挑選提示詞組合、執行模型以收集統計資料，再計算縮放值。這會增加操作負擔；若校準資料與實際使用情境不符，也可能造成結果偏差。SINQ 直接處理權重統計資料，省去這個步驟。對許多團隊而言，免校準能簡化自動化流程並提升可重複性。若專案仍需要校準，也能在 SINQ 的權重調整之上再進行校準搜尋，藉此進一步提升準確度。
限制與實務考量
目前報告的大部分效益來自僅量化權重。生成內容時，啟用值和鍵值（KV）快取仍會占用記憶體，尤其是提示詞和輸出內容很長時。有些執行環境支援啟用值量化和 KV 快取壓縮，但這些步驟也各有取捨。團隊應測量端到端的記憶體用量和延遲，而不只是模型在磁碟上的大小。
執行環境的支援也很重要。若要在推論時提升速度，核心程式必須能有效讀取打包後的 4 位元或 3 位元權重。llama.cpp、TensorRT LLM、vLLM 等熱門引擎持續快速演進，但不同精度、注意力核心與 GPU 架構的組合，成熟度不盡相同。服務正式上線前，應使用實際設定測試吞吐量、延遲和穩定性，包括批次大小與上下文長度。
極低精度可能會對某些任務造成壓力。程式碼生成、工具使用和結構化輸出，可能比一般聊天更容易受到影響。困惑度等指標固然有用，但正式環境測試也應涵蓋任務準確度、回應風格和安全檢查。若使用情境對品質要求極高，可採用混合精度，或只對敏感層使用較高精度，在保留大部分記憶體節省效果的同時維持品質。
為何其影響不只限於單一公司
量化已成為實際部署大型語言模型的基礎技術。快速、免校準且能有效支援低精度的開源方法，有助於整個生態系發展。降低記憶體需求，能讓教育、公民專案和小型企業更容易使用高效能模型，也能減輕高階 GPU 供應吃緊的壓力，為訓練和研究釋出更多運算資源。
推論工具的競爭正加速升溫。SINQ 等方法可搭配高效率注意力核心、分頁式 KV 快取和最佳化排程器，以更低成本提高每秒生成的詞元數。成果不只是降低服務成本，也讓重視隱私、資料在地化和技術堆疊自主權的團隊有更多選擇。
重點整理
- 華為推出的 SINQ 是一種大型語言模型權重量化方法，並以 Apache 2.0 授權條款開源
- SINQ 宣稱可降低 60% 至 70% 的記憶體用量，並在 4 位元、部分情況下甚至 3 位元精度下維持良好品質
- 這項方法不需校準，並以簡單整合至現有工作流程為目標
- SINQ 使用雙軸縮放和 Sinkhorn Knopp 式正規化來平衡權重矩陣
- 根據測試結果，量化速度約為 HQQ 的兩倍，並比 AWQ 快 30 倍以上
- 與基準免校準方法相比，品質指標有所改善，困惑度和翻轉率更低
- 原本需要超過 60 GB 記憶體的模型，可在約 20 GB 記憶體下執行，讓模型能部署於 RTX 4090 等消費級硬體上的單張 GPU
- 後續計畫包括整合至 Hugging Face Transformers，並釋出預先量化的模型
