가중치를 흔들어 전문가를 찾는다더니, 출력에 동전 던지듯 편향만 줘도 됐다 (arXiv 2610.40649)

사전학습된 언어모델의 가중치 공간 어딘가에 과제별 전문가들이 촘촘히 모여 있다는 주장이 있다. 무작위 가우시안 노이즈로 가중치를 조금 흔들면 그 이웃에 있는 전문가가 드러나 성능이 오른다는 것이다. 이른바 ‘뉴럴 시크(thicket)’ 가설이다. 그런데 2026년 10월 29일 arXiv에 올라온 논문 하나가 이 그림에서 가장 중요한 부품을 하나 뽑아낸다. 저자들은 먼저 보고된 성능 향상을 재현한다. 재현이 안 돼서 반박하는 논문이 아니라, 재현은 되는데 그 향상이 기하학을 증명하지 않는다고 말하는 논문이다.

논문의 제목은 ‘Rethinking Neural Thickets Without Weight Perturbations’, 저자는 Nicolas Dufour, Elouan Gardès, Amil Dravid, Patrick Pérez, Loic Landrieu 다섯 명이다. 이들의 주장을 한 문장으로 줄이면 이렇다. 성능 향상은 가중치 공간의 이웃에서 오는 것이 아니라, 출력의 다양성과 검증 기반 선택, 그리고 투표에서 온다. 그렇다면 가중치를 흔들 필요조차 없다.

1. 논문이 던지는 장면: 블록 하나만 흔들어도

저자들이 먼저 한 일은 통제 실험이다. 전체 가중치를 노이즈로 흔드는 대신, 디코더 블록 하나만 흔들었다. 만약 시크 가설이 맞다면, 즉 개선이 ‘과제별 전문가가 밀집한 국소 영역’을 찾아 들어가는 데서 온다면 블록 하나만 흔들어서는 그 영역에 제대로 도달하지 못해야 한다. 그런데 논문은 블록 하나만 흔들어도 개선의 상당 부분이 이미 회복된다고 보고한다.

더 노골적인 실험도 있다. 모델을 완전히 얼린 채로, 출력 로짓에 무작위 편향 하나만 더한다. 가중치는 1비트도 바뀌지 않는다. 그런데 논문에 따르면 이 방식이 대부분의 추론 과제에서 전체 가중치 섭동과 대등하거나 그 이상의 성능을 낸다. 가중치 공간을 한 발짝도 걷지 않았는데 말이다.

2. 핵심 주장: 재현은 되지만 설명은 아니다

이 논문의 논리적 뼈대는 ‘재현과 설명의 분리’다. 시크 가설은 두 가지를 한꺼번에 주장한다. 하나는 경험적 사실, 즉 노이즈를 준 모델들의 앙상블이 더 잘한다는 것. 다른 하나는 그 사실에 대한 기하학적 설명, 즉 가중치 공간의 밀집한 전문가 이웃이다. 저자들은 첫 번째는 인정하고 두 번째를 공격한다.

공격의 형태가 영리하다. “그 설명이 틀렸다”고 말하는 대신 “그 설명 없이도 같은 결과가 나온다”고 보인다. 설명이 필요 없는 대안이 더 단순하고 더 잘 맞으면, 오컴의 면도날은 대안 쪽으로 기운다. 논문은 이 대안을 Perturb-Select-Vote(PSV)라는 이름으로 형식화한다.

3. 대안 절차: 흔들고, 고르고, 투표한다

PSV는 세 단계다. 먼저 섭동(perturb)으로 서로 조금씩 다른 예측기를 여러 개 만든다. 다음으로 작은 검증 세트에서 성적이 좋은 멤버만 선택(select)한다. 마지막으로 남은 멤버들의 예측을 투표(vote)로 합친다. 세 단계 중 어느 것도 ‘가중치 공간의 지형’을 필요로 하지 않는다.

이 절차로 읽으면 시크 현상은 낯선 새 기법이 아니라 이미 알려진 추론 시점 기법들의 한 갈래가 된다. 논문은 이 해석이 시크를 샘플링, 자기 일관성(self-consistency), 검증기 기반 선택 같은 기존 방법과 연결한다고 말한다. 즉 같은 동네에서 이미 여러 번 지나간 길이라는 뜻이다.

4. 반전: 작은 섭동은 기하학이 아니라 로짓으로 말한다

가장 반직관적인 대목은 1차 근사 분석이다. 논문은 작은 가중치 섭동이 주로 유도된 로짓 이동을 통해 작동한다고 보인다. 가중치를 조금 흔들면 출력 확률분포가 조금 밀리고, 그 밀림이 다시 선택과 투표를 통해 증폭된다는 것이다. 가중치 공간의 좌표는 결과를 만드는 경로가 아니라, 결과를 바꾸는 손잡이 중 하나일 뿐이 된다.

이 지점에서 실험의 위계가 뒤집힌다. 만약 개선의 실체가 ‘로짓의 다양성’이라면, 로짓을 직접 흔드는 쪽이 더 싸고 더 정확한 개입이어야 한다. 가중치를 흔드는 것은 로짓을 흔드는 간접적이고 비효율적인 방법이 되고, 얼린 모델에 편향만 더하는 방식은 같은 목적을 최소 비용으로 달성하는 방법이 된다. 논문이 관측한 순서가 정확히 그 순서다.

5. 언어를 넘어 비전으로: 지구관측에서의 확장

논문은 이 분석을 비전으로 확장한다. 흥미로운 것은 도메인 시프트 조건이다. 학습 때와 다른 분포의 이미지가 들어오면 모델은 조용히 망가지는데, 이때 로짓 PSV가 성능을 상당히 끌어올린다고 보고한다. 지구관측(Earth observation) 과제도 그 예에 포함된다.

반대로 전체 가중치 섭동은 이 상황에서 추가 이득이 거의 없다고 한다. 만약 시크 가설이 옳고 개선이 가중치 이웃의 전문가에서 온다면, 분포가 바뀐 상황이야말로 그 이웃이 값을 해야 할 자리다. 그런데 값을 하지 않았다. 저자들은 이 비대칭을 언어와 비전 양쪽에서 같은 결론으로 묶는다.

6. 경쟁 가설과 반론: 기하학 쪽의 남은 방어선

물론 시크 가설을 옹호할 여지는 남는다. 하나는 설명 수준의 반론이다. ‘로짓 편향만으로 같은 성능이 난다’는 사실이 가중치 공간에 전문가 이웃이 없다는 것을 증명하지는 않는다. 같은 결과에 이르는 경로가 둘일 수 있고, 가중치 섭동이 우연히 로짓 섭동과 비슷한 효과를 내는 것일 수도 있다. 이 반론은 논문이 직접 반박하지는 않는다.

또 하나는 범위의 반론이다. 논문이 다룬 과제와 모델 규모 안에서는 로짓 PSV가 충분했다는 것이지, 모든 규모에서 그렇다는 보장은 아니다. 다만 이 반론은 시크 가설 쪽에도 똑같이 적용된다. 그 가설 역시 특정 규모와 과제에서 관측된 현상이므로, 어느 쪽도 보편 법칙을 주장할 수는 없다.

7. 논문이 스스로 인정한 한계

초록에는 별도의 한계 절이 명시되어 있지 않다. 확인 가능한 범위에서 저자들이 직접 밝힌 것은 ‘이 결과들이 가까운 가중치 공간의 전문가에게 돌려졌던 이득이 출력 다양성으로도 얻어진다는 것을 시사한다’는 수준의 신중한 표현이다. “시크 가설은 틀렸다”가 아니라 “그 이득은 다른 방식으로도 얻어진다”는 것이다.

독자로서 덧붙일 한계도 분명하다. 검증 세트에서 좋은 멤버를 고르는 절차는 검증 세트의 성질에 민감할 수 있고, 검증 세트가 작으면 선택 자체가 노이즈가 된다. 또 여러 예측기를 돌려 투표하는 방식은 추론 비용을 그대로 안는다. ‘학습이 필요 없다’는 장점은 ‘공짜’와 같은 말이 아니다.

8. 그래서 무엇이 남는가

이 논문의 진짜 표적은 하나의 가설이 아니라 하나의 습관이다. 성능이 오르면 그 원인을 모델 내부의 구조에서 찾고, 그 구조에 이름을 붙이고, 그 이름이 실체가 된다. 1906년 영국 플리머스에서 소의 무게를 군중에게 물었을 때, 개별 추측은 형편없었지만 중앙값은 실제 도살 무게에 가까웠다는 이야기가 지금도 자주 인용된다. 그 이야기의 교훈은 ‘군중 속에 정답을 아는 전문가가 숨어 있다’가 아니라 ‘모은 뒤 고르면 정답에 가까워진다’다.

논문이 제안하는 것은 결국 그 오래된 절차를 최신 모델에 다시 붙이는 일이다. 흔들고, 고르고, 투표한다. 화려한 지형도 없고, 전문가의 방도 없다. 그런데도 성능은 오른다. 여러분이라면 이 결과를 ‘가설이 반박됐다’로 읽겠는가, 아니면 ‘우리가 성능 향상의 이름을 잘못 붙여왔다’로 읽겠는가? 그리고 애초에 우리가 ‘전문가’라고 부르던 것은 모델 안에 있었던 걸까, 아니면 우리가 투표소에서 만들어낸 것이었을까?

참고 자료

Dufour, N., Gardès, E., Dravid, A., Pérez, P., & Landrieu, L. (2026). Rethinking Neural Thickets Without Weight Perturbations. arXiv:2610.40649v1 [cs.LG]. https://arxiv.org/abs/2610.40649

이미지 1: Francis Galton, 1912. Wikimedia Commons, Public domain. 이미지 2: ‘Image gaussian noise example’, Alejo2083, Wikimedia Commons, CC BY-SA 3.0.