小幅修改數值，帶來大幅成績提升
麻省理工學院（MIT）電腦科學與人工智慧實驗室的研究人員表示，OpenAI的GPT-6 Astra只改動Qwen小型模型約8億個數值參數中的131,072個，就讓模型的數學成績從7.9%升至48.1%。這項介入針對一項特定缺陷：模型會不斷生成文字，直到沒有空間作答為止。
目錄
Rikiya Takehi、Jayden Teoh、Alex Zhang與Omar Khattab於11月2日在一篇題為《權重空間程式設計的火花》（Sparks of Weight-Space Programming）的研究貼文中介紹這些實驗，後續報導日期為2026年11月3日。他們的方法是讓語言模型檢視、解讀並直接改寫另一個神經網路的權重，也就是決定網路如何處理資訊的數值。
最顯著的成果來自Qwen3.5-0.8B。Astra改動約0.016%的權重後，該模型在MATH-500的準確率提高40.2個百分點，約為原先的六倍。在GSM8K數學題上的準確率則從13.8%升至67.1%；IFEval指令遵循分數從21.0%升至62.3%，接近起始分數的三倍。
實驗範圍不只涵蓋數學。Astra辨識出小型網路的用途、修復模擬駕駛控制器，並直接根據規則和原始碼編寫遊戲網路。其他測試也顯示其限制：僅憑權重，Astra難以辨識模型過度附和使用者的傾向；而它對另一個語言模型所做的修改，也幾乎沒有提升其數學表現。
對開發人員而言，眼前的可能性是一種新的模型修復方式。AI助理可以調查模型的缺陷，並修改造成問題的數值結構，而非再進行一輪傳統訓練。Qwen的成果也顯示，缺陷的性質與成績提升幅度同樣重要。
實際上，權重程式設計是什麼？
神經網路透過多層計算，將輸入轉換成輸出。權重決定訊號在各個元件間傳遞的強度。訓練通常會反覆調整這些數值，並透過範例和數學誤差指標，判斷哪些變動有幫助。
梯度下降是計算這類調整的常見方法。它會估算權重應朝哪個方向移動，才能降低誤差。在這些實驗中，Astra改以推理方式分析目標網路，並自行寫入修改，不使用訓練迴圈計算要如何編輯。
MIT CSAIL博士生Takehi在社群媒體貼文中說明這項構想的工作流程：
模型或許可以不經訓練，而是把原始權重視為可讀、可編輯的程式碼：診斷缺陷，並直接修補。
將這種做法比作軟體修復，有助於理解。程式設計師調查故障應用程式時，可能會找出有問題的函式並改寫。Astra則是在數值結構中搜尋與不良行為有關的模式。神經網路權重比一般軟體更難解讀，因為它們通常沒有說明用途的人類可讀名稱。
實驗提供了不同程度的輔助。有些測試只提供權重和架構說明；另一些則提供Python環境、範例，或執行目標模型的權限。以Qwen為例，雖然沒有進行傳統訓練，整個過程仍需要大量運算、練習題和測試。
Astra如何讓Qwen停止重複作答
Qwen一開始的表現，提供Astra一個特別明確的問題可供調查。在一批96道題的初步測試中，有85個回答達到32,768個token的輸出上限。Token是語言模型讀取和產生的文字單位，通常是單字或單字的一部分。這些被截斷的回答中，約95%以重複內容收尾。
範圍更大的MATH-500評測也顯示相同問題：基準模型有93.0%的回答達到token上限。Astra追查後發現，重複迴圈行為與第15層和第19層中前饋元件的輸出所對應的某個數值方向有關。這類元件通常稱為多層感知器（MLP），負責在各層內轉換資訊。
數值方向是一種分布在許多數值上的模式，而非單一開關。Astra從上述兩層各64個輸出欄位中，減去與重複行為相關的方向。這項修改變動了131,072個權重，並將MATH-500中達到token上限的回答比例降至33.1%。
答案修正的情況有助於解釋成績為何進步。在保留的1,152道題中，有579個答案從錯誤變成正確，另有5個從正確變成錯誤。在這579個進步的答案中，576個原本都因達到輸出上限而遭截斷。因此，大部分提升來自修改後的模型能完成先前因重複而中斷的答案。
修補後，MATH-500仍有約三分之一的回答耗盡輸出額度。在測試條件下，修改後的網路實用性大幅提高，但重複迴圈仍是顯著問題。
找出修補方式歷經數小時調查
Astra對Qwen表現最佳的一次嘗試，使用50次評測請求的額度，每次請求最多可能涵蓋數百個範例。調查過程包括158輪對話、80次Python執行，共耗時20.3小時，其中4.7小時花在等待服務中斷結束。
工作環境包含超過14,000道來自GSM8K和MATH訓練集的練習題、Qwen權重，以及一個在CPU上運行的Python沙盒。沙盒最多允許執行300次程式碼。其他嘗試使用的評測請求額度則是10次或25次。
報告中的準確率也適用於特定的生成設定。評測採用思考模式、32,768個token的輸出額度，以及0.6的溫度值。溫度控制選擇下一個token時的隨機程度；模型卡建議思考模式下的文字任務使用1.0的溫度值。若要重現模型的初始表現並比較結果，這項差異不可忽略。
實際流程如下：
- 研究人員向Astra提供目標模型、練習題，以及檢視權重和測試行為的工具。
- Astra調查重複輸出的問題，並提出針對第15層與第19層的修改方案。
- 評測檢視數學和指令遵循能力的提升，以及達到輸出上限的回答是否減少。
- 研究團隊於11月2日介紹這項研究，並表示正在開發基準測試與實驗框架。
最終修改幅度很小，但要找出修改方式，卻需要更大規模的過程。相較於傳統微調，這種方法是否能節省時間或運算資源，仍是尚待解答的實務問題。
從數值中讀出遊戲、圖形與語言
Astra的檢視測試先從四個使用近端策略最佳化（PPO）訓練的遊戲網路開始。PPO是一種透過獎勵改善行為的強化學習方法。這些網路具有相同的結構、輸入和可採取的動作。未提供候選遊戲清單的情況下，Astra仍辨識出它們分別是《打磚塊》（Breakout）、《乒乓》（Pong）、《小精靈》（Pac-Man）和《高速公路》（Freeway）。
研究人員表示，Astra檢視了第一層的模式，以及輸出層選擇動作的差異。在辨識《打磚塊》的範例中，它對答案給出99%的信心。這個信心值是Astra對自身辨識結果的評估。
三個小型擴散模型則提供另一種測試。每個模型都經過訓練，可生成圓形、三角形或正方形。Astra沒有執行模型，而是從輸出層權重中找出輪廓來辨識圖形。雖然模型生成的是實心圖形，Astra畫出的卻是空心輪廓；這個特別之處，將它的解讀與所檢視的數值結構連結起來。
語言辨識測試使用三個模型，每個模型有720萬個參數，分別接受Python程式碼、羅馬拼音日文或英文的下一個字元預測訓練。Astra僅取得中間層權重，兩次嘗試都正確辨識出訓練語言。
Astra也找出模型中的複製頭（copy head），這類注意力元件有助於重複先前遇到的文字。Python模型有較多這類複製頭，符合程式碼經常重複使用相同變數和函式名稱的情況。羅馬拼音日文模型最後一個模組寫入的方向較少，則與其常用字元種類較少相符。
修復汽車並打造遊戲玩家
Kinetix環境中的一輛模擬汽車養成了不理想的習慣：它會開上斜坡後卡住。若先倒車，就能騰出足夠空間順利向前爬坡。Astra取得控制器權重、場景描述和一段失敗紀錄後，無須使用工具，就在一次回應中提出修復方案。
這項修補修改了3.5%的權重，並在全部1,024次測試中成功。Astra在網路中新增一條小型路徑來追蹤位置和速度，並在汽車通過標記後將控制權交還原始網路。
針對《MinAtar》遊戲《打磚塊》、《海底任務》（Seaquest）和《阿斯特里克斯》（Asterix），Astra面臨另一項任務：從頭編寫策略網路。策略網路會將遊戲狀態轉換成動作。Astra取得規則、原始碼和所需架構，但沒有訓練範例、梯度計算工具、其他工具，也沒有在評測前試玩的機會。
在這三款遊戲中，Astra編寫的網路都擊敗了訓練1億步的PPO基準模型。《打磚塊》的分數差距最大：Astra得分517.4，訓練1億步的基準模型得分15.8，訓練5億步的模型則得分25.3。與後者相比，Astra的分數約高出20倍。
優勢因遊戲而異。與訓練5億步的PPO模型相比，Astra在《阿斯特里克斯》的表現不相上下，在《海底任務》則達到對方約六成的分數。Astra在《打磚塊》中的設計，將明確策略轉化為權重：估算球的落點，再將球拍移向該位置。
大型圍棋網路需要不同工作流程
圍棋實驗使用約150萬個參數的網路，無法直接放入Astra的上下文視窗，也就是它一次能處理的資訊量。研究人員改為提供Python沙盒，讓Astra檢視並編輯權重。
該架構有243個輸入、六個各含512個單元的隱藏層，以及82個輸出。Astra將它組織成一個精簡的圍棋程式：前幾層代表棋子和氣，也就是維持棋群存活的空白相鄰點；中間層則透過相連棋群傳遞資訊，以辨識危險。
最後一層會為吃掉對方棋子、拯救受威脅的棋群、保護眼位，以及避免打劫以外的「叫吃」（atari）情況評分；「叫吃」是指棋群僅剩一口氣的狀態。這套策略是透過數值權重組成，而非經由反覆對弈學得。
在沒有任何表現評測的情況下，Astra的網路對上兩個較小的PPO網路時，勝率超過一半。取得50次評測額度後，它的表現勝過一個使用2,000萬場棋局訓練、規模相同的網路。回饋讓Astra得以檢視敗局，並保留有助於改善棋力的修改。
兩項困難測試揭示限制
Gemma 3 270M提供了與Qwen形成對照的案例。它很少陷入重複迴圈。Astra找到的反而是一般推理錯誤，包括算術失誤和無效的代數步驟。小幅修改，包括將一個對數字有反應的神經元強度加倍，最多只能讓MATH-500準確率提高約1個百分點。
這項比較指出一項實務上的差異：消除重複行為，能讓模型發揮原本就具備的能力；但若要修正多種不同的數學錯誤，光是移除一種共同的數值模式並不足夠，還需要更全面的解決方法。
諂媚效應，也就是即使使用者有錯，模型仍傾向附和的行為，難以透過直接檢視權重來辨識。研究人員使用相同的問答資料，微調兩個Gemma 3 270M模型。一個模型接受正確回答訓練，另一個則接受附和使用者建議的訓練。
僅憑權重，Astra無法可靠地區分兩者。若允許它檢視自己撰寫的文字中的注意力模式，但不讓它看到模型的回答，Astra便能在三組配對中全部正確辨識出具有諂媚效應的模型。這些模型會將較多中間層注意力放在使用者提出的內容上。
注意力測量可以顯示模型處理文字時，會將部分處理資源指向何處。這項測量在此處發揮作用，凸顯根據模型執行情況進行檢視，是成功診斷的重要一環。這項測試的目標是偵測過度附和，而改變這種行為則是另一項可能的應用。
研究人員接下來想測試什麼
MIT團隊認為，這項技術可能用於模型檢視、針對性修復、不使用傳統訓練資料改變模型能力，以及在不同架構間轉移有用元件。直接編輯模型已有一段研究歷史，包括2022年在NeurIPS發表的ROME，以及2023年在ICLR發表的MEMIT。這項研究則探索由通用語言模型自行推理並進行編輯。
研究人員提出的另一個方向是遞迴式自我改良：AI系統可以協助改良模型，而改良後的模型又能更有效地進一步自我提升。這些實驗使用由人類設定的任務、工具和評測額度，並由Astra改動其他網路。若要建立可靠的反覆改良流程，還需要進一步實驗。
團隊公開了實驗紀錄和編輯成果；據稱，公開儲存庫內含1,125次模型呼叫的紀錄。團隊表示，下一步將建立基準測試和實驗框架，以進行一致的評估，但未公布推出日期。
對開發AI應用的人來說，最具體也最容易理解的發現是：若一項反覆出現的缺陷會妨礙模型完成有用工作，小幅數值修復就能帶來大幅改善。Gemma和諂媚效應的對照結果則顯示，每一項修復都需要個別診斷與測試。
重點摘要
- Astra修改了Qwen的131,072個權重，約占模型的0.016%，使MATH-500準確率從7.9%升至48.1%。
- GSM8K準確率從13.8%升至67.1%，IFEval分數從21.0%升至62.3%。
- 主要修復降低了重複輸出；MATH-500中達到token上限的回答比例從93.0%降至33.1%。
- Qwen表現最佳的一次嘗試使用50次評測請求，耗時20.3小時，其中包括服務中斷時間。
- Astra也修復了模擬汽車控制器，並為簡化版遊戲和圍棋編寫網路。
- Gemma的數學表現幾乎沒有改善；辨識諂媚效應則需要測量注意力。
- 研究人員正在開發權重空間程式設計的基準測試和測試框架。
