將長篇文件納入 AI 上下文的新方法
DeepSeek 推出 DeepSeek-OCR，這是一套視覺語言系統，能將長篇文字轉換成影像以進行壓縮，並在模型需要時還原內容。視設定與文件類型而定，這種方法可將大型語言模型必須處理的 token 數量減少 7 至 20 倍，在中度壓縮下仍維持高精確度。DeepSeek 表示，壓縮約 10 倍時，解碼準確率約為 97%，即使壓縮倍率更高，仍能產出有用結果。這項專案提供程式碼與模型權重，開放開發者使用，目標是解決現代 AI 最昂貴的痛點之一：以合理成本處理長上下文。
目錄
這套系統分兩個階段運作。名為 DeepEncoder 的視覺編碼器會將文字頁面、表格、圖表及其他版面轉換成一組精簡的視覺 token。接著，輕量級語言模型 DeepSeek3B MoE A570M 會將這些 token 解碼回結構化文字。這種架構能在需要時保留版面與格式、支援多種語言，並可輸出純文字或 Markdown 表格等結構化結果。
這項技術的重要性，關鍵在於 token，也就是語言模型讀取和生成文字的基本單位。token 越多，記憶體用量和延遲就越高，成本也隨之增加。此外，模型一次能處理的上下文長度也有硬性限制。DeepSeek-OCR 將上下文以影像儲存，再透過視覺 token 重新讀取，為長時間對話和大型文件提供成本較低的記憶層，並有望將有效上下文視窗擴大到遠超過純文字所能達到的範圍。
規模是這項技術的核心訴求。訓練使用了約 3,000 萬頁 PDF，涵蓋近 100 種語言，並額外加入圖表、公式和圖像的合成資料。在運算效能方面，團隊表示，一張 Nvidia A100 GPU 每天可處理超過 20 萬頁；由 20 台類似伺服器組成的叢集，每天則可處理約 3,300 萬頁。這些數據顯示，文件數位化和大規模生成訓練資料的流程有望加快。
將文字轉成影像如何減少 token 數量
語言模型以 token 而非單字或字元讀取輸入。一篇一般的文章或報告可能會轉換成數千個 token。多數 Transformer 內部的注意力機制會比較大量 token 配對；序列越長，運算量就會迅速增加。長上下文會推高記憶體用量和處理時間，規模一大便成為預算問題。
什麼是 token 和上下文視窗
token 是模型能理解的語言片段。簡短的詞可能只算一個 token，較長的詞可能拆成數個，標點符號也會計入。模型一次最多能考量的 token 數量，就是上下文視窗。許多實際使用的檔案都超出這個上限，因此使用者只能截斷文件，或付出高昂成本使用專門的長上下文模型。
為何以像素儲存可能比文字更省成本
視覺編碼器會將影像轉成較小的區塊網格，再將網格壓縮成一組視覺 token。DeepSeek 的編碼器採用壓縮模組，在將特徵傳給解碼器前先減少 token 數量。技術說明中的一個例子指出，一張 1,024 乘 1,024 像素的影像，起初會產生 4,096 個區塊 token，接著壓縮至 256 個，再送入視覺語言模型架構。如果這 256 個 token 能保留一頁密集內容的精髓，而該頁原本需要 1,500 個以上的文字 token，節省效果便立竿見影。
交換條件很簡單：系統不再以文字 token 儲存長上下文，而是改存精簡的視覺 token 快照，需要時再還原其含義。這有助於控制記憶體用量、保留版面和圖表，也能避開部分文字分詞器的限制。代價則是增加編碼與解碼步驟，且壓縮倍率極高時，精確度會逐漸下降。
深入解析 DeepEncoder 與解碼器
DeepEncoder 結合兩種廣為人知的概念：局部辨識與整體理解。它採用 Segment Anything Model 骨幹網路，擷取細緻區域與邊緣；另以 CLIP 式模組掌握整體語意與版面。兩者之間設有卷積式壓縮器，在將視覺 token 傳入語言模型前大幅減少其數量。編碼器支援多種解析度模式，使用者可依頁面複雜度調整 token 預算。簡單的投影片可使用較少 token；版面擁擠的新聞頁面或內容密集的科學圖表則可能需要更多。
解碼器是以 30 億參數架構打造的混合專家語言模型，每個 token 約啟用 5.7 億個參數。專家路由機制可協助模型因應不同內容類型，而不必為每個 token 都動用完整的 30 億個參數，因此能節省運算資源，同時維持高品質。系統可輸出純文字、以 Markdown 保留結構，甚至能將表格和圖表中的資料擷取為適合機器處理的格式。它支援多語言 OCR，也能解讀示意圖、化學結構和幾何圖形。
預設設定包括 Tiny、Small、Base 和 Large，另有適用於極複雜頁面的動態模式。這些預設會在影像尺寸與 token 數量之間取得平衡。DeepSeek 建議一般頁面先從 Small 模式開始，只有在內容密集或版面複雜時才調高設定。
基準測試與精確度數據的意義
只有解碼器能高精確度還原文字，壓縮才有用。DeepSeek 表示，在壓縮倍率低於 10 倍時，解碼測試準確率約為 97%；壓縮倍率約 20 倍時，準確率則降至約 60%。團隊也展示了部分測試案例：100 個視覺 token 可代表原本需要 700 至 800 個文字 token 的文件，在一項針對性基準測試中，精確度仍約為 97%。這些數據符合一項主張：中度壓縮最能兼顧節省資源與準確度。
在常見的文件理解測試 OmniDocBench 中，該模型使用較少 token，表現仍優於知名 OCR 系統。不同類型的文件所需 token 數量各異：投影片和簡單的宣傳手冊每頁可能只需約 64 個視覺 token；欄位和圖片眾多的雜誌或報紙則可能需要數百個。系統可依使用者設定保留或移除格式。
運作效能指標相當亮眼。團隊表示，一張 Nvidia A100 顯示卡每天可處理超過 20 萬頁；由 20 台伺服器組成的叢集每天則可處理約 3,300 萬頁。訓練與推論程式碼以及模型權重均以寬鬆授權釋出，方便研究和生產環境快速試用。
這項技術可能如何改變 AI 成本、記憶體與產品設計
許多 AI 產品在對話或文件串接變長時就會遇到瓶頸。將先前的上下文以視覺 token 儲存，可為模型提供成本較低的記憶層。系統能將舊對話摘要或壓縮成影像，僅在需要時才解碼細節。如此一來，活躍的文字上下文能維持精簡，同時保留從前文找回事實、引文和版面的能力。這也有助於模型處理包含複雜表格或數學內容的頁面，避免傳統分詞器難以妥善處理這類資訊的問題。
對使用者而言，這能解鎖實用的工作流程。助理可以讀入完整的 PDF、合約和試算表，保留精簡記憶，並在使用者提出要求時還原特定段落及其結構。由於解碼器能重建結構，而非只還原原始字元，複製表格列或擷取圖說也會更直接。這項技術也展現高效率企業搜尋的可能性：先為壓縮後的頁面快照建立索引，再依需求解碼相關片段。
對開發者和研究人員來說，處理量很重要。這套系統每天每張 GPU 可生成數十萬頁語言模型與視覺模型訓練語料，有助於以較低成本建立監督式資料。仰賴圖表和表單的產業，例如金融、醫療和科學領域，可能因此加快數位化流程，並更完整地保留文件結構。不過，若將壓縮後的輸出用於後續訓練仍須謹慎，因為少量解碼錯誤一旦擴大到大量資料，就可能形成雜訊標籤。
限制、風險與尚待解答的問題
壓縮倍率越高，所需 token 預算越少，但保真度也越低。壓縮約 20 倍時，據報準確率會降至約 60%。許多任務可以容忍些微錯誤，但姓名、數字和法律條款等內容則要求近乎完美的還原。使用者需要制定規範，讓關鍵頁面採用較低壓縮倍率，並將高倍率壓縮保留給不需精確還原的上下文。
推理能力也有待觀察。模型之所以能善用文字 token 進行推理，是因為它們接受過這種形式的訓練。視覺 token 帶有不同的歸納偏誤，解碼器必須先還原文字，再進行推理。這個額外步驟可能影響仰賴長鏈思考的任務。若重要上下文藏在影像層中，團隊應測試多步驟推理，並為要求高精確度的任務準備備援方案。
延遲和基礎設施規劃仍須納入考量。額外的編碼與解碼步驟會增加運算工作；文件規模擴大或對話變長後，節省效益才會顯現。部署前應針對多種文件類型，測試實際處理時間、記憶體用量和成本，據此訂定何時壓縮、何時傳送原始文字的門檻。儲存格式也會改變：原始文字檔將由影像或類影像張量取代，可能影響檢索系統和法遵流程。
隱私與安全同樣值得重視。將敏感檔案壓縮成影像或視覺 token，並不代表風險消失。存取控制、加密和稽核紀錄都必須套用於壓縮後的儲存資料。低解析度掃描檔或潦草手寫內容等文件仍可能令模型難以處理。對關鍵工作流程而言，審慎選擇動態模式並安排人工審查，依然是明智做法。
如何立即試用 DeepSeek OCR
Hugging Face 專案頁面提供模型卡、快速入門說明和下載。程式碼與模型權重也已發布於 GitHub，採用涵蓋學術與商業用途的寬鬆授權。開發者可從這裡開始：Hugging Face 模型頁面，以及這裡：GitHub 儲存庫。
參考環境列出的版本為 Python 3.12.9 和 CUDA 11.8，依賴套件包括 PyTorch、Transformers、Tokenizers、Einops、Addict、Easydict 和 Flash Attention。為提升速度，建議使用 Nvidia GPU。預設模式可讓使用者在細節與成本之間取捨。一般商業文件可先從 Small 模式開始；內容密集的科學或法律文件，則可能適合使用較高解析度或動態模式。
典型工作流程是先將 PDF 轉換成逐頁影像，再以選定的解析度將各頁送入 DeepEncoder，最後透過語言模型解碼視覺 token。輸出可採用純文字供搜尋，或採用能保留表格和章節標題的 Markdown。GitHub 儲存庫也提供批次處理指令碼和效能提升建議。提高壓縮倍率時，團隊應持續監測準確度，並為關鍵頁面保留較保守的設定。
重點整理
- DeepSeek-OCR 將長篇文字以影像形式儲存以進行壓縮，再透過解碼器按需還原內容。
- 視設定與文件複雜度而定，token 用量可減少約 7 至 20 倍。
- 據報壓縮約 10 倍時，解碼精確度約為 97%；壓縮約 20 倍時，則約為 60%。
- 此架構結合 DeepEncoder 與混合專家解碼器，每個 token 約啟用 5.7 億個參數。
- 模式從 Tiny 到 Large，另有適用於極複雜頁面的動態選項，方便使用者設定明確的 token 預算。
- 基準測試顯示，使用的 token 少於常見 OCR 基準系統，在 OmniDocBench 上仍有出色表現。
- 據稱處理量包括單張 Nvidia A100 GPU 每天處理超過 20 萬頁，以及 20 台伺服器組成的叢集每天處理約 3,300 萬頁。
- 結構化輸出包括 Markdown 表格和圖表資料，並支援示意圖、公式及多種語言。
- 開放原始碼程式碼與模型權重已在 Hugging Face 和 GitHub 上以寬鬆授權釋出。
- 適合的用途包括以較低成本維持長上下文記憶、大規模文件數位化和生成訓練資料；精確度至關重要的工作則須謹慎設定。
