가중치를 안 건드리고 성공률 4.5배 — 로봇의 '하네스'를 AI가 설계하다

로봇 팔 하나가 선반 위 물체를 집으려다 실패한다. 팔이 선반 모서리에 걸렸거나, 위에서 내려오는 경로를 장애물이 막았거나, 파지 깊이가 몇 밀리미터 어긋났을 것이다. 사람이라면 손목을 살짝 돌려 각도를 바꾸겠지만, 고정된 정책(frozen policy)으로 움직이는 로봇은 같은 자리에서 같은 방식으로 계속 실패한다. 2026년 10월 30일 arXiv에 공개된 논문 하나가 바로 이 지점에서 출발한다. 논문이 보고하는 숫자는 9.7%에서 43.3%다.

논문의 제목은 'RoboArchitect: Automating the Design of Robotic Agents with Persistent Memory'이고, 저자는 Shengguang Wu, Suning Huang, Cherie Ho, Ria Doshi, Hao Zhu, Serena Yeung-Levy다. 핵심은 놀랄 만큼 단순하다. 모델의 가중치는 1비트도 바꾸지 않는다. 대신 로봇을 감싸고 있는 제어 코드, 즉 '하네스(harness)'를 코딩 모델이 직접 고쳐 쓴다.

9.7%에서 43.3%로 — 숫자가 말하는 것

논문이 보고한 실험은 두 갈래다. 학습에 쓰지 않은 새로운 장면(unseen scenes)에서 평균 성공률이 9.7%에서 43.3%로 올라갔다. 4.5배다. 학습에 쓰지 않은 새로운 과제(unseen tasks)에서는 12.7%에서 40.2%로, 3.2배 올랐다. 이 수치는 여러 벤치마크와 여러 정책(policy)에 걸쳐 나온 평균이라고 논문은 밝힌다.

여기서 중요한 것은 절대값이 아니라 조건이다. 하네스는 최적화용 에피소드 집합에서 진화하고, 평가는 완전히 분리된 장면과 과제에서 이뤄진다. 즉 훈련 장면을 외워서 점수를 올린 것이 아니다. 처음 보는 배치에서도 성공률이 네 배 이상 뛰었다는 뜻이고, 이 격차가 논문이 내세우는 주장의 뼈대다.

하네스란 무엇인가 — 가중치 밖의 제어층

최근 로봇 연구에서 반복적으로 확인된 사실이 하나 있다. 고정된 로봇 정책은 그 자체로 쓰일 때보다, 에이전트 하네스 안에 들어갔을 때 훨씬 잘 작동한다. 하네스는 언제 정책을 호출할지, 언제 비전 도구에 물어볼지, 언제 팔을 직접 명령할지 결정하는 제어 코드다. 사람이 손으로 짜는 부분이고, 지금까지는 로봇이나 벤치마크가 바뀔 때마다 처음부터 다시 설계해야 했다.

논문의 문제의식은 이 재설계 비용이다. 새 로봇이 들어올 때마다 엔지니어가 붙어 하네스를 뜯어고치는 대신, 코딩 모델이 로봇의 롤아웃을 관찰하고 실패를 진단한 뒤 하네스를 반복적으로 수정하게 만들 수 있지 않을까. RoboArchitect는 이 루프를 자동화한 시스템이다. 모델 파인튜닝이라는 기존의 값비싼 대안에 맞서는, 두 번째 선택지로 제시된다.

로봇 팔이 기타 연마 작업을 수행하는 산업 현장 — Henrysz, CC BY 4.0 (Wikimedia Commons)

반전 — 일반 정책을 감싼 하네스가 파인튜닝을 이긴다

가장 흥미로운 대목은 이득이 어디서 가장 크게 났는가다. 논문은 벤치마크가 정책의 학습 데이터에서 멀어질수록 이득이 커진다고 보고한다. 당연해 보이지만, 그다음 문장이 반직관적이다. 범용 정책(general-purpose policy)을 감싼 하네스는 종종 파인튜닝된 버전보다도 나은 성과를 낸다는 것이다.

표현에 주의할 필요가 있다. 논문은 'often outperforms'(종종 능가한다)라고 쓰지, 항상 이긴다고 주장하지 않는다. 그럼에도 함의는 크다. 특정 로봇에 특화된 모델을 만드는 일과, 범용 모델 주위에 특화된 제어 코드를 세우는 일이 경쟁 관계가 될 수 있다는 뜻이기 때문이다. 후자는 가중치를 건드리지 않으므로, 로봇이 바뀌어도 다시 학습시킬 필요가 없다.

논문은 이 현상을 '실질적인 여지(headroom)가 로봇 조작의 하네스에 있다'는 한 문장으로 요약한다. 조작 성능의 병목이 정책의 표현력이 아니라, 정책을 둘러싼 결정 로직에 있을 수 있다는 주장이다.

스스로 발견한 조작 전략들

자동 설계가 만들어낸 전략의 예가 구체적이다. 팔이 걸렸을 때는 걸린 상태를 억지로 밀지 않고 팔을 들어 올려 빠져나오게 한다. 위에서 접근하는 경로를 장애물이 막으면, 위에서 찍는 대신 수평으로 뻗어 들어간다. 사람이 흔히 쓰는 요령이지만, 이것을 코드가 스스로 진화시켰다는 점이 논문의 요지다.

이 전략들은 사전에 프로그래밍된 규칙 목록이 아니다. 코딩 모델이 롤아웃 영상과 실패 로그를 보고 '왜 실패했는가'를 진단한 결과로 하네스에 추가된 분기다. 다시 말해 실패의 원인을 언어로 서술하고, 그 서술을 제어 코드로 옮기는 과정이 자동으로 돌아간다. 진단과 수정이 같은 모델 안에서 이어진다는 것이 이 접근의 구조적 특징이다.

영속 메모리 — 두 번째로 진화하는 것

논문 제목에 'Persistent Memory'가 들어간 이유가 여기 있다. 하네스는 코드만 고치는 것이 아니라 자기 기억도 진화시킨다. 예를 들어 어떤 물체를 잡을 때 유효했던 파지 깊이를 기억해 두고, 이후 결정에 가져온다. 세션마다 처음부터 다시 시행착오를 겪지 않는다는 뜻이다.

이 설계는 조작에서 특히 의미가 있다. 파지 깊이는 물체마다 다르고, 눈으로 정확히 재기 어렵고, 한 번 틀리면 물체를 떨어뜨린다. 성공한 깊이를 기억에 남겨 다음 시도에 재사용하는 것은, 사람이 컵을 잡을 때 손가락 감각으로 학습하는 것과 기능적으로 닮아 있다. 다만 논문이 기억의 일반화 범위를 어디까지 검증했는지는 초록 수준에서 명시되지 않는다.

물체 표면에 맞춰 변형되는 컨포멀 로봇 그리퍼 — Chris Gunn, Public domain (Wikimedia Commons, DPLA)

경쟁 가설과 반론

첫 번째 반론은 '그냥 프롬프트 엔지니어링 아닌가'다. 하네스를 고치는 일이 결국 코드 몇 줄과 지시문을 바꾸는 일이라면, 성능 향상은 모델의 능력이 아니라 사람이 넣은 힌트의 효과일 수 있다. 이 반론에 대한 논문의 답은 진화가 자동이고, 평가가 분리된 장면에서 이뤄진다는 점이다. 사람이 개입하지 않은 채 최적화 에피소드에서만 수정이 일어나고, 그 결과가 홀드아웃에서 유지됐다면 힌트 효과로만 설명하기는 어렵다.

두 번째 반론은 '평가가 관대한 것 아닌가'다. 성공률 9.7%라는 출발점 자체가 매우 낮다. 바닥이 낮으면 상승폭도 커 보인다. 실제로 43.3%는 여전히 절반에 못 미치는 수치다. 논문이 여러 벤치마크와 정책에서 같은 방향의 개선을 보고했다는 점은 이 반론을 일부 누그러뜨리지만, 절대 성능이 실용 수준에 도달했다는 주장은 아니다.

세 번째는 비교 대상의 문제다. 파인튜닝이 얼마나 많은 데이터와 연산으로 이뤄진 baseline인지에 따라 결론의 무게가 달라진다. 가중치 갱신 없이 얻은 이득이 '학습을 대체한다'는 주장이 되려면, 파인튜닝 쪽도 충분히 정성껏 튜닝된 상태와 비교돼야 한다. 논문은 이 조건을 명시하고 있으나, 초록만으로는 세부 설정을 확인할 수 없다.

논문이 인정한 한계와 남는 질문

논문이 스스로 인정하는 범위는 분명하다. 첫째, 하네스는 최적화용 에피소드 집합 위에서 진화하고 홀드아웃에서 평가된다. 즉 최적화 데이터가 실제 배치 환경을 대표하지 못하면 이득도 줄어든다. 둘째, 결과는 '여러 벤치마크와 정책'에 걸친 평균이며, 특정 로봇 하나에서 항상 같은 폭의 개선이 나온다는 보장은 없다.

셋째, 가장 근본적인 질문이 남는다. 하네스가 진화할수록 그것은 점점 그 벤치마크에 맞춰진다. 새 로봇이나 새 과제가 들어왔을 때 하네스를 다시 진화시켜야 한다면, 절약되는 것은 학습 비용이지 설계 비용 전체가 아니다. 논문은 이 재진화 비용을 얼마나 빠르게 회수할 수 있는지에 대한 답을 초록에서 제시하지 않는다.

그럼에도 이 논문이 던지는 질문은 선명하다. 로봇이 못하는 일을 만났을 때, 우리는 모델을 다시 학습시켜야 하는가, 아니면 모델을 감싼 판단 로직을 고쳐야 하는가. RoboArchitect는 후자에 4.5배라는 숫자를 붙였다. 여러분이라면 어느 쪽에 먼저 손을 대겠는가. 로봇을 새로 가르치는 일과, 로봇이 처한 상황을 다시 읽히는 일 중 무엇이 더 근본적인 개선이라고 생각하는가.

참고 자료

Wu, S., Huang, S., Ho, C., Doshi, R., Zhu, H., Yeung-Levy, S. (2026). 'RoboArchitect: Automating the Design of Robotic Agents with Persistent Memory'. arXiv:2610.42141v1. https://arxiv.org/abs/2610.42141v1

이미지 출처: Wikimedia Commons — 'Robotic Arm Polishing Guitars at Martin Guitar Factory' (Henrysz, CC BY 4.0), 'Conformal Robotic Gripper' (Chris Gunn, Public domain, via DPLA).