在虛擬住宅中受訓的機器人，開始應對真實房間
蘋果研究人員表示，其 HALO 人形機器人控制系統在六個從未掃描或測繪過的真實環境中，進行 360 次測試，執行各項實體任務的平均成功率達 91%。這套系統搭載於 Unitree Robotics G1，運用模擬訓練中學到的經驗，在陌生空間中移動、坐上家具、穿過狹窄開口並推動箱子。
目錄
研究成果發表於《從模擬到感知人形機器人動作》（Perceptive Humanoid Motion from Simulation），並於 2026 年 11 月 4 日提交至 arXiv。蘋果團隊的論文指出，研究人員在 1,000 個電腦生成的居家環境中，以約 300 小時的合成範例進行訓練，之後便將系統直接轉移至實體機器人。
較長的任務難度更高。在另一個真實環境中，HALO 執行三種動作組合，每種嘗試 10 次，平均成功率為 70%。其中，先鑽過障礙物、接近目標再推箱子的動作序列，10 次嘗試中成功 5 次。
這項進展的實用之處，在於把理解指令與讓整個身體在陌生家具環境中移動連結起來。像是「坐到椅子上」這類指令，要求機器人辨認座位、尋找路徑、調整身體位置，並在坐下時維持平衡。HALO 將這些工作分配給三個相互協作的控制層。
論文作者為 Siyuan Hu、Abulikemu Abuduweili、Yue Meng、Shipeng Liu、Quentin Leboutet、Chen Chen、Matthias Müller 和 Vladlen Koltun，均列有蘋果的任職資訊。團隊也公開了涵蓋資料生成、訓練與部署的程式碼，包括在模擬環境與實體機器人上進行任務規劃、動作生成和動作追蹤。
91% 的成功率代表什麼
六項個別技能的成功率各不相同。蹲下的表現最佳，坐下則是受測動作中成功率最低的項目：
- 前往指定物品：92%。
- 坐上家具：85%。
- 穿過半掩的門：93%。
- 蹲過障礙物：100%。
- 爬過障礙物：90%。
- 推箱子：88%。
蹲下與坐下的成功率相差 15 個百分點。坐下不只是抵達正確位置：機器人還必須對準家具，並將重量轉移到座位上。這同時考驗視覺理解能力與實體控制器。
六個測試環境對 HALO 來說都很陌生。研究人員事前沒有掃描這些環境，也未在訓練中使用。論文將此稱為零樣本遷移，意指系統從模擬訓練轉移至這些實體環境時，沒有針對各個地點額外訓練。
展示影片也顯示 G1 跟隨人員、坐上沙發、側身穿過半掩的門，以及低頭或爬行穿過桌子下方。這些動作呈現出系統如何依周遭空間調整姿勢，而非只是朝目的地行走。
為什麼較長的指令更難
HALO 執行三種任務組合時，結果落差較大。穿過門後前往目標的動作，在 10 次測試中全部成功。先蹲下再坐下，成功 6 次；先蹲下、接近目標再推箱子，則成功 5 次。
三種組合合計 30 次嘗試中成功 21 次，成功率為 70%。這比個別任務的平均成功率低 21 個百分點；不過，序列測試採用不同的環境，試驗次數也較少。
動作序列增加了出錯的機會，因為前一個動作的結果會成為下一個動作的起始位置。舉例來說，從障礙物下方鑽出後，機器人必須處於能接近目標並完成下一個動作的位置。
HALO 透過視覺檢查處理這個問題。規劃器會查看機器人視角的影片，判斷目前動作是否成功，並決定要繼續還是重試。研究結果顯示，把各項實用技能串接起來，比單獨執行這些技能更具挑戰。
三個控制層將指令轉化為動作
最高層負責任務規劃。它使用視覺語言模型，也就是能同時處理影像與文字的一類人工智慧，結合相機畫面解讀指令。預設模型為 Qwen3.6-35B-A3B，在機器人搭載的 Mac mini 上本機執行。
規劃器每兩秒啟動一次。如果有人要求機器人坐下，卻沒有指定座位，機器人就必須從畫面中選出合適的物件。如果桌子擋住通往椅子的路，系統可以把指令拆成較小的動作：鑽過障礙物、接近椅子，然後坐下。
中間層會將各個子任務轉化為動作計畫。它結合 Qwen3.5-2B（訓練期間編碼器參數維持不變）與擴散 Transformer 解碼器，以生成全身動作。編碼器將影像和指令轉換成動作模型可使用的表示方式；解碼器則產生預定姿勢。
這一層會大約向前規劃五秒，並以每秒約三次的頻率重新規劃。因此，系統會根據最新的相機觀測持續更新預定動作，而不是一次決定完整的五秒動作，期間都不檢查周遭環境。
最底層稱為動作追蹤器，每秒 50 次將計畫轉換成關節指令。它結合深度影像與機器人自身位置及動作資訊，協助機器人在考量平衡、接觸情況和馬達限制的同時，依計畫行動。
Mac mini 搭載於 G1 背上
實體配置是在 G1 背上以保護外殼搭載一台配備 M4 Pro 晶片、統一記憶體 64 GB 的 Mac mini。這台電腦負責執行運算需求較高的任務規劃和動作生成模型；G1 本身的處理器則負責運行動作追蹤器。
特製頭部支架搭載一台 OAK-1W 相機。相機的彩色影像解析度為 1280 x 800 像素，每秒 30 格，視野達 120 度。廣角視野有助於系統在機身移動時觀察附近的家具和開口。
機器人可不受線纜束縛地運作，各軟體元件透過 ZeroMQ（一種訊息傳遞系統）互相通訊。預設的本機配置不需連上網際網路即可運作。HALO 也能在設定後，透過應用程式介面呼叫雲端模型。
運算工作的分配與控制層級相互配合。理解指令不必頻繁進行，但要讓移動中的機器人保持穩定，就需要快得多的更新。動作生成器計算新計畫時，追蹤器會繼續執行目前的計畫，避免每次模型運算時機器人都得停下來。
1,000 個虛擬住宅如何提供訓練範例
HALO 的訓練流程旨在解決一項特定的資料短缺問題：同時涵蓋人形機器人所見、接到的指令，以及全身應如何移動的範例。一般影片雖然包含動作影像，但訓練這套系統需要將影像與指令和詳細的機器人動作配對。
作者提到，透過人員操作或穿戴式錄製裝置收集示範資料，有些方法所需的時間如下：
由於每個片段都必須由人手動演示，一小時的資料至少需要一小時的人力。
HALO 改以模擬環境建立配對範例。流程從將任務拆分成多個動作片段開始。例如，坐上扶手椅可能包括向前走、轉身和坐下。文字提示、路徑航點和關鍵姿勢會引導名為 Kimodo 的動作生成模型。
接著，系統透過自動幾何檢查，針對腳部滑動、身體穿過地板、突然跳動，以及關節超出活動範圍等問題為候選動作評分。流程會保留評分最高的候選動作，再將其放進虛擬房間中。
程序化場景生成器 Infinigen 會產生 1,000 個格局和家具各異的環境，包括客廳、辦公室和臥室。系統會搜尋合適的位置，確保機器人的預定動作和目標物件不會與周圍家具碰撞。
接著，模擬器會以符合實體配置的魚眼相機模擬機器人執行動作時所見的畫面。透過改變光線、曝光、色彩、對比、模糊和感測器雜訊，讓影像更多樣化。每個生成的範例都將指令、相機畫面和相應的身體動作連結起來。
運算成本與人力投入
生成主要訓練資料集約耗時 48 小時，使用 250 張 Nvidia H100 圖形處理器。這類處理器通常稱為 GPU，能平行執行大量計算，因此可以一次產生大量模擬資料。
動作生成器使用 64 張 Nvidia B200 GPU，以模仿學習進行訓練。模仿學習是讓模型學會重現範例行為的方法。動作追蹤器則使用四張 H100 GPU 訓練，結合強化學習與策略蒸餾。
強化學習透過反覆嘗試及對表現的回饋來訓練控制器；策略蒸餾則把學到的行為轉移到另一個模型。在 HALO 中，這些方法能協助追蹤器把預定姿勢轉換成實體機器人可執行的動作。
部分流程仍須由人員定義。新增實體任務時，需要撰寫提示並設計關鍵姿勢，有些動作則參考人類影片或動作捕捉素材。只要有了這些任務描述和限制條件，流程便能在許多生成的房間中重複使用。
因此，改變之處在於如何擴增示範資料。HALO 不必要求人員演示每一個片段，而是運用運算資源生成並檢查大量任務變化。
僅靠視覺仍難以處理接觸問題
研究人員指出，HALO 目前主要依賴視覺，無法直接感知接觸。在物件離開相機視野，或被其他物體遮住時，涉及大量實體接觸的任務表現可能下降。
推箱子正好說明這項問題。機器人必須在箱子移動時，讓身體與箱子維持適當位置。相機可提供可見位置的資訊；觸覺感測則可提供接觸資訊，即使視線受阻也可能派上用場。
研究人員指出，觸覺感測是未來可探索的方向之一，但沒有提出加入此功能的時間表。目前的結果清楚呈現了這項挑戰的界線：HALO 能在陌生房間中執行多種由視覺引導的技能，但較長的動作序列和涉及接觸的互動仍不夠可靠。
這項研究帶來什麼改變
蘋果的研究將訓練資料生成、語言式規劃和實體控制整合到同一套系統中，使人形機器人能在從未到過的房間裡運作。最突出的成果，是系統從 1,000 個模擬環境轉移到 360 次實體測試時，無須事先測繪六個測試地點。
公開的程式碼讓研究人員能在模擬環境和硬體上進一步研究這套流程，內容涵蓋訓練範例的生成機制，以及生成、追蹤和協調動作所需的模型與軟體。
對於要求機器人坐下或移動箱子的人來說，可靠與否取決於整個流程能否協同運作：辨認正確物件、移動到物件旁、與之接觸並完成動作。HALO 的個別任務結果顯示，這一連串能力已有進展；序列測試則指出，若要讓多個動作以同樣穩定的方式銜接，仍有工作待完成。
重點整理
- 蘋果研究人員於 2026 年 11 月 4 日將《從模擬到感知人形機器人動作》提交至 arXiv。
- HALO 在六個陌生且未經測繪的真實環境中，完成 360 次個別任務測試，平均成功率達 91%。
- 系統在另一個真實環境中進行 30 次測試，三種任務組合的平均成功率為 70%。
- 系統結合任務規劃、動作生成，以及每秒發出 50 次關節指令的追蹤器。
- 訓練使用了約 300 小時的合成範例，涵蓋 1,000 個生成環境。
- Unitree G1 搭載的 Mac mini 可支援系統在無網際網路連線下本機運作。
- 訓練仍需人員設計任務，接觸感測能力有限也是系統弱點。
