같은 질문, 같은 모델, 레이블 문구만 바꿨더니 0.24가 갈렸다 — 이득은 낯선 단어에서만 (arXiv 2611.08439v1)

질문 하나에 후보 다섯 개. 모델은 정답을 생성하지 않고, 호출자가 그때그때 건네준 선택지의 문구를 읽고 점수만 매긴다. 그런 모델에서 정확도는 모델 개발자가 통제하지 못하는 변수, 즉 레이블을 어떤 단어로 적었는가에 좌우된다. 논문 <Label-Wording Augmentation in a Typed-Decision Encoder>는 이 지점을 정면으로 건드린다. 저자는 3억 700만 파라미터(307M) 규모의 다국어 크로스인코더 Ru-Jev의 두 릴리스, 즉 증강 없는 판과 레이블 표면형 증강을 넣은 판을 나란히 놓고, 질문은 고정한 채 18개 라우팅 레이블의 문구만 바꿔 실험한다.

0.24 — 숫자가 나온 자리

실험 설계는 단순하지만 손이 많이 간다. 저자는 서로 다른 세 가지 절차로 만든 레이블 어휘집 10종을 준비하고, 그것이 학습 데이터와 겹치지 않는지 확인했다. 각 질문에는 후보 5개를 붙였고, 그중 8종의 어휘집에서는 후보를 18개로 늘려 같은 실험을 반복했다. 바뀌는 것은 오직 정답 선택지에 붙은 이름표의 표기다.

결과는 어휘집의 성격에 따라 갈렸다. 일상어나 차용어로 만든, 다시 말해 학습 때 보지 못한 낯선 표현으로 채운 어휘집에서 증강 릴리스는 모든 설정에서 더 정확했고, 그 폭은 최대 0.24였다. 이 14개 비교 셀 가운데 11개는 Holm 보정을 통과했다. 통과하지 못한 셀은 18개 후보를 쓴 속어 조건과 5개 후보를 쓴 서술문 조건이다. 전문 용어(jargon)를 전 레이블에 적용한 조건에서는 레이블 수준 신뢰구간이 두 설정 모두 0을 배제했다.

왜 문구가 점수가 되는가

typed-decision 모델은 선택지를 미리 벡터로 만들어 두지 않는다. 요청 시점에 들어온 문자열을 인코더에 통과시켜 질문 표상과 함께 채점한다. 그래서 학습 중에 본 적 없는 표기, 예컨대 영어에서 빌려온 사무실 속어나 부서 이름 같은 것은 표상 공간에서 어중간한 자리에 놓인다. 레이블 표면형 증강은 같은 레이블을 여러 표기로 제시해 그 자리를 넓혀 두는 처치다.

저자의 해석도 이 선에서 크게 벗어나지 않는다. 증강이 사전 지식을 넣는 것이 아니라, 표기 변이에 대한 둔감성을 만든다는 것이다. 그렇다면 이득은 “처음 보는 단어”에서 나타나고, “이미 굳어진 기호”에서는 나타나지 않아야 한다. 뒤의 결과가 정확히 그 예측을 따른다.

한 사물에 두 이름을 나란히 붙인 간판. 러시아어와 칼미크어로 같은 기관명을 병기한 엘리스타의 음악학교 표찰 — 저자 Shabashewitz, CC BY-SA 4.0 (Wikimedia Commons)

반전 — 줄임말과 코드에서는 이득이 사라진다

축약어 조건에서 증강 릴리스는 더 낫지 않았다. 저자는 깨끗한 슬라이스에서는 오히려 더 나빴다고 적는다. 불투명한 코드(opaque codes) 조건은 더 인상적이다. 학습 선택지와 연관된 레이블을 제거하고 나면, 두 릴리스 모두 우연 수준이거나 그 아래에 머문다. 즉 증강은 “모르는 단어를 읽어내는 능력”을 늘린 것이지, “아무 의미도 없는 기호를 해독하는 능력”을 만든 것이 아니다.

이 구분은 실무에서 중요하다. 사내 시스템이 라우팅 레이블을 DEPT_04 같은 코드로 넘긴다면, 레이블 문구를 여러 형태로 불려 학습시키는 처치는 비용만 쓰고 효과는 거의 없다. 반대로 사람이 즉석에서 “회계팀”, “경리과”, “재무”처럼 제각각 적어 보내는 환경이라면 처치가 값을 한다.

정확도가 오르면 확신하는 오류도 는다

저자는 정확도만 보지 않는다. 정확도가 오른 대부분의 셀에서 risk-coverage 면적이 줄었다. 위험-커버리지 곡선은 “얼마나 많이 답하게 할 것인가”에 따른 오류율을 재는 지표이므로, 이 감소는 순수한 개선으로 읽힌다.

그러나 후보를 18개로 늘린 조건에서는 이야기가 달라진다. 전문 용어와 속어 조건에서 확신에 찬 오류(confident errors)가 증가했다. 더 많이 맞히는 대신, 틀릴 때 더 당당하게 틀린다는 뜻이다. 라우팅 시스템에서 확신 있는 오답은 조용한 오답보다 비싸다. 사용자가 검토를 건너뛰게 만들기 때문이다.

경쟁 가설과 반론

첫 번째 경쟁 가설은 “이득은 증강이 아니라 릴리스 차이, 즉 학습량이나 다른 변경에서 왔다”이다. 저자는 질문을 고정하고 레이블 문구만 흔드는 통제로 이 가설을 상당 부분 막는다. 다만 두 릴리스가 증강 외에 완전히 동일한지에 대한 서술은 논문 초록 수준에서 확인되지 않는다.

두 번째 가설은 “어휘집을 만든 세 절차가 우연히 증강과 상성인 표본을 골랐다”이다. 저자는 학습 데이터와의 중복을 확인하고 10종의 어휘집을 썼지만, 어휘집 표본 수 자체가 크지 않다는 반론은 남는다. 실제로 14개 셀 중 3개가 보정을 통과하지 못했다는 사실이 그 여지를 보여준다.

세 번째는 “일반화되지 않는다”이다. 저자가 보지 못한 두 데이터셋에서 정확도 변화는 -8.4포인트와 +5.6포인트였다. 한쪽은 개선, 한쪽은 악화다. 평균으로 뭉개면 안 되는 숫자다.

보기 다섯 개, 답안지 한 장. 선택지의 문구가 바뀌면 같은 실력도 다른 점수가 된다 — 러시아 OGE 2024 수학 답안지, Public domain (Wikimedia Commons)

저자들이 인정한 한계

논문은 스스로 네 가지 평가상의 위험(evaluation hazards)을 보고한다고 밝힌다. 두 릴리스를 비교할 때 생기는 함정들로, 이 비교 자체가 어떤 조건에서는 성립하지 않을 수 있음을 시사한다. 저자가 이 항목을 본문에 둔 것은 결과의 적용 범위를 스스로 좁히려는 태도로 읽힌다.

범위의 한계도 분명하다. 실험은 러시아어 13개 과제로 학습된 단일 모델군, 18개 라우팅 레이블, 최대 18개 후보라는 좁은 조건에서 이뤄졌다. 다른 언어, 다른 레이블 수, 생성형 응답에는 이 수치를 그대로 옮길 수 없다. 또한 초록은 개별 셀의 절대 정확도를 제시하지 않고 증강 판과 비증강 판의 차이만 보고한다.

독자에게

정리하면 이 논문의 주장은 이렇다. 레이블 문구 증강은 낯선 단어를 상대할 때 값을 하고, 약속된 기호를 상대할 때는 값을 하지 않는다. 그리고 값을 하는 순간에도, 후보가 많아지면 확신하는 오류라는 부작용을 데려온다. “증강을 넣었더니 좋아졌다”는 한 줄 보고가 얼마나 많은 조건을 생략하는지 보여주는 사례다.

그렇다면 질문 하나. 여러분의 시스템이 모델에 건네는 선택지는 사람이 쓴 자연어인가, 아니면 코드인가. 그 답이 이 기법을 도입할지 말지를 이미 절반쯤 결정하고 있다.

참고 자료

Vladimir Beskorovainyi, <Label-Wording Augmentation in a Typed-Decision Encoder: Gains on Unfamiliar Words, Not on Abbreviations or Codes>, arXiv:2611.08439v1 (2026-11-05, cs.AI).
https://arxiv.org/abs/2611.08439v1