재현율 76.4%에서 92.6%로 — 실험 노하우를 남기면 코딩 에이전트가 달라진다 (ReproBridge)

2026년 11월 5일, arXiv에 ReproBridge: Building Reproducibility into ML Research Artifacts라는 제목의 논문이 올라왔다. 저자들은 36편의 머신러닝 논문에서 387개 실험을 모아 1,029개의 재현 과제를 만들고, 각 과제마다 사람이 다섯 번 검증한 참조 점수를 붙였다. 그리고 코딩 에이전트를 완전히 새 세션에 앉혀 같은 실험을 다시 시키는 실험을 했다. 출발점의 숫자는 76.4%였다. 네 가지 모델이 원본 코드만 들고 실험을 재현하는 데 성공한 평균 비율이다.

문제는 그 나머지 23.6%가 어디서 생기느냐다. 논문이 지적하는 지점은 코드의 품질이 아니라 정보의 흩어짐이다. 실험을 다시 돌리는 데 필요한 절차는 논문 본문, 공개된 코드, 그리고 그 밖의 보조 자료에 조각조각 나뉘어 있고, 어느 한 곳에도 온전히 적혀 있지 않다.

387개 실험, 1,029개 과제라는 규모

ReproBridge-Bench라고 이름 붙은 이 벤치마크는 36편의 논문, 387개의 실험에서 뽑아낸 1,029개 과제로 구성된다. 과제 하나하나에는 사람이 검증한 참조 점수가 다섯 개씩 붙어 있다. 재현 성공 여부를 한 사람의 판단에 맡기지 않으려는 장치다.

평가 방식도 눈에 띈다. 에이전트는 원본 코드만 주어진 조건과, 저자들이 정제한 아티팩트가 주어진 조건에서 각각 과제를 수행한다. 별도의 Auditor가 실행 증거를 확인한다. 성공을 주장하는 것과 실제로 돌아간 것을 분리해서 본다는 뜻이다.

찰스 라이엘의 지질학 노트북 한 장. 지층 단면을 손으로 그려 옆에 관찰을 적었다 — 재현에 필요한 것은 결론이 아니라 결론에 이른 절차라는 이번 논문의 문제의식과 겹치는 장면이다. — University of Edinburgh Heritage Collections, CC BY 3.0 (Wikimedia Commons)

논문이 남기려는 것은 코드가 아니라 절차다

저자들이 정의한 표준 아티팩트는 네 가지로 이루어진다. 정제된 코드베이스, 환경 설정, 실험 실행 스크립트, 그리고 재현 가이드다. 겉으로 보면 흔한 '코드 정리' 작업처럼 읽히지만, 논문이 강조하는 것은 이 네 번째 항목이다. 왜 그 실험을 그렇게 구성했는지, 어떤 선택을 왜 했는지가 기록으로 남아야 한다는 것이다.

이 관점에서 보면 코딩 에이전트의 재현 성공률은 실력의 문제가 아니라 빈칸을 메우는 능력의 문제가 된다. 논문은 이를 '복구된 절차와 결정을 보존하는 것이 이후의 독립적 재현을 개선하는가'라는 질문으로 정식화한다. 논문은 이 질문에 대해, 정제된 아티팩트가 있을 때 평균 재현 성공률이 76.4%에서 92.6%로 올라간다고 보고한다.

반전: 성능이 낮은 모델이 더 크게 얻었다

가장 흥미로운 숫자는 평균값이 아니라 격차다. 원본 코드 조건에서 네 모델의 성공률 격차는 21.6퍼센트포인트였다. 정제된 아티팩트 조건에서는 3.9퍼센트포인트로 줄어든다. 네 모델 모두 평균 90%를 넘긴다.

즉 아티팩트는 잘하는 모델의 점수를 조금 더 올려주는 도구가 아니라, 못하는 모델의 바닥을 끌어올리는 장치로 작동했다. 원본 코드에서 성공률이 낮았던 모델일수록 개선 폭이 컸다는 뜻이고, 이는 재현 실패의 상당 부분이 모델의 추론 능력이 아니라 자료의 결손에서 온다는 해석을 뒷받침한다. 논문은 이 결과를 '실행 지식을 보존하면 원본 코드 성공률이 낮은 모델조차 더 안정적으로, 더 낮은 비용으로 재현한다'는 문장으로 요약한다.

비용도 함께 내려갔다

논문은 성공률과 함께 API 지출을 보고한다. 정제된 아티팩트 조건에서 평균 19.7% 줄었다. 빈칸을 메우려고 여러 번 시도하고 파일을 뒤지고 오류를 반복하는 과정 자체가 토큰을 태운다는 것을 생각하면 자연스러운 결과다.

이 숫자가 중요한 이유는 재현성이 흔히 '있으면 좋은 것'으로 취급되기 때문이다. 하지만 에이전트가 실험을 다시 돌리는 환경에서는 재현성 문서의 품질이 곧 연산 비용이 된다. 같은 결과를 20% 싸게 얻는다는 것은, 연구실이 같은 예산으로 더 많은 검증을 할 수 있다는 뜻이기도 하다.

미국 NERSC 데이터센터의 서버 랙에서 작업하는 기술자. 재현 문서의 품질은 결국 연산 시간과 API 비용으로 환산된다. — Derrick Coetzee, CC0 (Wikimedia Commons)

경쟁 가설: 그냥 좋은 모델 이야기 아닌가

가장 먼저 떠오르는 반론은 이것이다. 정제된 아티팩트가 성공률을 올린 게 아니라, 아티팩트를 만들 때 사람이 개입해서 문제를 쉬게 만든 것 아닌가. 논문은 이 지점을 절제 실험(ablation)으로 다룬다. 구성 요소를 하나씩 제거하면 성공률이 떨어진다. 가장 큰 손실은 코드와 환경을 뺐을 때 나온다.

다만 이 반론을 완전히 닫지는 못한다. 논문이 비교한 것은 '원본 코드'와 '저자들이 정제한 아티팩트'이고, 정제 과정에서 난이도가 조정되었는지 여부는 별도로 통제되지 않는다. 참조 점수를 사람이 다섯 번 검증했다는 점이 이 위험을 줄이지만 없애지는 않는다. 논문의 주장은 '아티팩트가 있으면 재현이 잘 된다'는 조건부 명제로 읽는 편이 정확하다.

논문이 스스로 인정한 한계

논문이 명시하는 범위는 36편의 논문과 네 개의 모델이다. 머신러닝 실험을 대상으로 하며, 다른 분야의 재현 문제—예컨대 실험 장비나 표본 처리처럼 코드로 표현되지 않는 절차—는 다루지 않는다. 성공 판정은 Auditor의 실행 증거 확인에 기반하므로, '돌아갔다'와 '논문이 보고한 수치와 같다' 사이의 간격은 이 벤치마크가 직접 재는 대상이 아니다.

또 하나 짚어둘 점은 아티팩트를 만드는 비용이 논문의 회계에 들어 있지 않다는 것이다. 재현 비용 19.7%를 아꼈다면, 그 절감이 정제 작업에 들어간 사람의 시간을 상쇄하는지는 별개의 문제다. 논문은 이 지점을 열린 질문으로 남긴다.

독자에게: 재현은 누구의 일인가

이 논문을 읽고 남는 질문은 기술적인 것이 아니다. 재현 문서를 쓰는 일은 지금까지 논문을 낸 뒤의 부수 작업으로 취급됐다. 하지만 에이전트가 실험을 대신 돌리는 시대에는, 그 문서가 실험의 일부이자 비용 구조의 일부가 된다.

그렇다면 질문은 이렇게 바뀐다. 당신이 리뷰어라면, 저자가 공개한 아티팩트에 '왜 이렇게 했는지'가 적혀 있지 않을 때 그것을 결함으로 볼 것인가. 아니면 여전히 코드가 돌아가는 것으로 충분하다고 볼 것인가.

참고 자료

Yubo Wang, Rui Meng, Jaehyun Nam, Tomas Pfister, Jinsung Yoon, ReproBridge: Building Reproducibility into ML Research Artifacts, arXiv:2611.08452v1 (2026-11-05). https://arxiv.org/abs/2611.08452v1

이미지: 찰스 라이엘 노트북 — University of Edinburgh Heritage Collections, CC BY 3.0. NERSC 서버 랙 — Derrick Coetzee, CC0. 모두 Wikimedia Commons.