로봇 시뮬레이션을 AI가 직접 만든다 — 25개 과제 전부 실패한 프런티어 모델, 평균 보상 0.06

0.06. 2026년 10월 29일 arXiv에 올라온 논문 하나가 벤치마크 성적표로 내민 숫자다. 논문이 공개한 로보틱스 테스트 과제 25개, 그중 단 하나도 통과하지 못한 모델들의 평균 보상이 0.06이었다. 보상은 과제를 얼마나 해냈는지를 0에서 1 사이로 매긴 값이니, 0.06은 “거의 아무것도 못 했다”에 가깝다. 실패한 것이 어설픈 오픈소스 모델이 아니라 프런티어 모델이라는 점이 이 숫자를 뉴스로 만든다.

실패한 것은 모델이 아니라 무대였다

이 논문의 제목은 「Gym-Anything for Robotics: Scaling physical simulations with digital agents」다. 저자는 프란잘 아가르왈과 숀 웰렉, 두 사람이다. 이들이 던지는 진단은 의외로 단순하다. 로봇 학습용 시뮬레이션이 부족한 이유는 물리 엔진이 느려서도, GPU가 모자라서도 아니다. 쓸 만한 시뮬레이션 한 편을 만드는 데 전문가의 손이 너무 많이 들어가서다.

그래서 규모가 안 커진다. 로봇 연구실마다 몇 개씩 손으로 만든 환경을 돌려쓰고, 그 환경에 맞춰 튜닝한 정책이 현실에서 잘 돌아가는지 확인하는 순서가 반복된다. 논문은 이 병목을 “전문가 노동”이라고 부르고, 그 노동을 코드 작성 에이전트에게 넘기면 규모가 달라진다고 주장한다.

핵심 주장: 시뮬레이션 제작은 코딩 작업이다

논문의 한 줄짜리 통찰은 이렇다. 시뮬레이션을 만드는 일은 결국 코드를 쓰는 일이므로, 코딩 에이전트가 좋아지면 시뮬레이션도 자동으로 좋아지고 많아진다. 로보틱스와 언어모델 연구를 별개의 트랙으로 두지 않고, 한쪽의 발전이 다른 쪽의 재고가 되는 구조로 묶은 셈이다.

이 주장이 흥미로운 이유는 방향이 반대여서다. 보통은 “로봇을 잘 가르치려면 더 좋은 모델이 필요하다”고 말한다. 여기서는 “더 좋은 모델이 있으면 로봇을 가르칠 교재를 스스로 찍어낼 수 있다”고 말한다. 교재 생산비가 0에 가까워지면, 남는 병목은 교재가 아니라 교재를 읽는 능력 쪽으로 옮겨간다.

GDP 표를 펼치고 과제를 고른다

무엇을 시뮬레이션할지 정하는 대목이 이 논문에서 가장 낯설다. 저자들은 미국 GDP 데이터를 참고해 경제적으로 가치가 큰 육체 노동을 골라 과제로 삼았다고 밝힌다. 로봇 연구의 관심사가 아니라 국민계정 통계가 과제 목록의 출발점이 된 것이다.

이 선택에는 분명한 계산이 깔려 있다. 로봇이 잘하는 시연을 늘리는 것보다, 사람이 임금을 받고 하는 일 중 자동화 가치가 큰 일을 먼저 배우게 하는 편이 산업적으로 남는 장사다. 다만 GDP는 산업별 부가가치를 알려줄 뿐, 그 일이 손끝의 어떤 동작으로 이루어지는지는 알려주지 않는다. 통계와 물리 사이의 이 간극은 뒤에서 다시 문제가 된다.

산업용 로봇팔이 원통형 부품을 집어 옮기는 모습. 논문이 겨냥한 것은 이런 반복 작업부터 손끝의 미세한 힘 조절이 필요한 작업까지다 — Shixart1985, CC BY 2.0 (Wikimedia Commons)

만들고, 감사하고, 다시 만드는 루프

에이전트에게 “시뮬레이션 좀 만들어 줘”라고 던지면 그럴듯하지만 쓸모없는 결과가 나오기 쉽다. 그래서 논문은 먼저 “좋은 시뮬레이션이란 무엇이고 좋은 과제란 무엇인지”를 정의하고, 그 정의에 비추어 결과물을 검사하는 생성-감사 루프를 적대적으로 돌린다. 만드는 쪽과 트집 잡는 쪽을 분리한 구조다.

이 파이프라인으로 만든 것이 RoboWorld다. 시뮬레이션 25종, 테스트용 RL 환경 25개, 학습용 RL 환경 175개가 난이도를 달리해 묶여 있다. 학습 환경이 테스트 환경보다 일곱 배 많은 구성은, 학습 쪽에 물량을 몰아주고 평가는 다른 장면에서 한다는 원칙을 그대로 보여준다.

반전: 무대를 늘려도 실력은 안 늘었다

여기서 예상이 한 번 꺾인다. 시뮬레이션을 대량으로 찍어내면 성적이 오를 것 같지만, 프런티어 모델들은 RoboWorld의 테스트 과제 25개를 전부 실패했고 평균 보상은 0.06에 그쳤다. 무대가 부족해서 못 하던 것이 아니었다는 뜻이기도 하다.

논문이 이 실패를 곧바로 “그러니 무대가 더 필요하다”로 연결하지 않는 점이 중요하다. 저자들은 대신 학습 방법 쪽에 손을 댄다. 환경을 늘리는 일과 환경에서 배우는 일은 다른 문제이며, 전자를 자동화했다고 후자가 자동으로 해결되지는 않는다는 것을 자기 벤치마크로 증명한 셈이다.

경쟁 가설과 반론

첫 번째 반론은 현실 격차다. 시뮬레이션에서 잘해도 실제 로봇에서 무너지는 문제, 이른바 심투리얼 격차는 수십 년 된 숙제다. 코드 에이전트가 만든 환경이 아무리 그럴듯해도, 그 안에서 얻은 정책이 실제 마찰과 센서 잡음을 견디는지는 이 논문만으로 답이 나오지 않는다.

두 번째 반론은 규모와 대표성이다. 시뮬레이션 25종은 “모든 물리 현상”을 덮기에는 분명 작은 표본이다. GDP 기준으로 과제를 고르면 부가가치가 큰 몇 개 산업에 쏠릴 위험도 있다. 세 번째는 감사 루프의 신뢰도다. 검사하는 쪽도 언어모델이라면, 정의를 느슨하게 해석해 통과시키는 순환이 생길 수 있다. 초록 수준에서 저자들이 명시한 한계는 따로 적혀 있지 않으므로, 이 세 가지는 논문 밖에서 붙는 반론으로 읽어야 한다.

물리 시뮬레이션 코드를 짜고 결과를 그래프로 확인하는 화면. 논문이 에이전트에게 맡긴 일은 바로 이 작업, 즉 장면과 물리 조건을 코드로 쓰는 일이다 — MikeRun, CC BY-SA 4.0 (Wikimedia Commons)

네 가지 학습 경로

논문은 실패를 메우기 위해 네 가지 방법을 제시한다. 같은 과제를 여러 번 시도하면서 문맥 안에서 배우는 방식, 시뮬레이터의 내부 상태를 읽을 수 있는 “특권 교사”가 학생에게 맥락으로 가르치는 방식, 모델이 자기 특권 경험에서 스스로 보조 학습을 하는 방식, 그리고 코드 정책으로 여러 장면의 시연을 생성해 π0.5 같은 시각-언어-행동 모델을 학습시키는 방식이다.

네 가지의 공통점은 정보 비대칭을 활용한다는 점이다. 실제 로봇은 카메라와 관절 센서 너머를 보지 못하지만, 시뮬레이터 안에서는 물체의 정확한 위치와 속도를 알 수 있다. 그 정보를 학습 중에만 빌려주고, 실행 시점에는 빼는 방식으로 성능을 끌어올린다. 논문은 이 각각이 성능을 “상당히” 개선한다고 보고한다.

이 논문이 실제로 바꾼 것은 벤치마크 하나가 아니라 생산 방식이다. 시뮬레이션을 사는 물건에서 코드로 찍어내는 물건으로 옮겨 놓았고, 그 결과를 감사까지 포함한 파이프라인으로 공개했다. 실패 성적표를 함께 공개한 것도 같은 맥락이다. 무대가 넓어졌다는 사실과 로봇이 똑똑해졌다는 주장은 별개라는 걸 저자들이 먼저 인정한 셈이다.

그렇다면 다음 질문은 이렇게 남는다. 시뮬레이션을 무한히 찍어낼 수 있게 되었을 때, 우리가 정말로 병목이라고 부르게 될 것은 물리 엔진일까, 과제 설계일까, 아니면 그 환경에서 배우는 알고리즘일까. 여러분은 어느 쪽이라고 보는가.

참고 자료

Pranjal Aggarwal, Sean Welleck, 「Gym-Anything for Robotics: Scaling physical simulations with digital agents」, arXiv:2610.40565v1 (2026-10-29).

논문: https://arxiv.org/abs/2610.40565v1

프로젝트 페이지: https://gym-anything.github.io/robotics