오답이 한 곳에 몰렸다면, 그건 소음이 아니라 신호다

시험지 서른 장을 책상에 펼쳐 놓고 5번 문항만 세어 본다고 하자. 정답을 고른 학생이 열다섯, 나머지 열다섯의 오답이 네 개의 선택지에 고르게 흩어져 있다. 대부분의 교사는 여기서 "절반은 모른다"는 판정을 내리고 다음 문항으로 넘어간다. 그런데 만약 그 열다섯의 오답이 네 선택지에 흩어지지 않고 한 곳에 몰려 있었다면, 그리고 그 몰린 선택지가 바로 이 문항이 노린 오개념의 교과서적 오답이었다면, 우리가 읽어야 할 것은 정답률이 아니라 오답의 모양이다. arXiv에 2026년 10월 1일 올라온 논문 「Determining the degree of randomness in multiple-choice question distractors」는 정확히 그 지점을 겨냥한다. 저자는 JPW Diener, BL Frick, J Kriek 세 사람이고, 분야는 물리교육(physics.ed-ph)이다.

오답을 소음이 아니라 신호로 취급한다

객관식 문항은 채점이 싸고 빠르다는 이유로 교육 평가의 주력으로 남아 있지만, 논문은 그 효율이 진단 능력의 한계와 맞바꿔진 것이라고 지적한다. 정답률 하나로는 학생이 개념을 몰라서 틀렸는지, 계산 실수를 했는지, 아니면 그럴듯한 오답에 끌려간 것인지 구분되지 않는다. 전통적인 심리측정 기법은 정해진 데이터 패턴에 모형을 맞추는 방식이라, 표준화되지 않은 소규모 표본이나 새로 만든 문항에서는 쓸 준거 자체가 없다.

그래서 이 논문이 제안하는 것은 정보이론이다. 오답 선택지(distractor)에 흩어진 무작위성을 잡음으로 처리하지 않고, 학생 응답 패턴 안에서 측정 가능한 신호로 다룬다. 구체적으로는 각 문항에서 오답 선택지들이 어떻게 분포하는지의 엔트로피를 보고, 그것을 전체 정답률과 나란히 놓아 수행을 분류하는 틀을 만든다. 엔트로피는 한 문항 안의 선택 분포만으로 계산되므로, 해마다 규준 표본을 다시 모아야 하는 전통 척도와 달리 표본 크기에 덜 매인다. 이것이 논문이 내세우는 첫 번째 주장이다.

무작위성이 낮다는 것은 무엇을 뜻하는가

정보이론에서 엔트로피는 확률분포가 얼마나 퍼져 있는지를 재는 값이다. 오답이 네 선택지에 똑같이 나뉘면 엔트로피는 최대가 되고, 한 선택지에 거의 전부 몰리면 0에 가까워진다. 논문의 언어로 옮기면 이렇다. 엔트로피가 낮은 문항은 틀린 학생들이 같은 방식으로 틀렸다는 뜻이고, 엔트로피가 높은 문항은 틀린 학생들이 서로 다른 이유로 틀렸다는 뜻이다. 전자는 학급이 공유하는 오개념을 가리키고, 후자는 그 오개념이 존재하지 않거나 문항이 그것을 잡아내지 못한다는 신호가 된다.

논문은 이 값을 실제 데이터에 걸어 검증한다. 표준 역학 개념 검사(mechanics inventory)의 문항별 응답 자료를, 그 검사와 별개로 이미 문서화되어 있던 오개념 목록과 대조한 것이다. 결과는 무작위성이 가장 낮게 나온 문항들에서 오답의 다수가 그 문항에 배정된, 인터뷰로 검증된 오개념의 응답과 정확히 일치했다는 것이다. 즉 낮은 엔트로피는 추상적 지표로 끝나지 않고, 현장 연구자들이 따로 확인해 둔 학생의 머릿속 모델과 맞아떨어졌다.

객관식 답안지의 표준 형태. 선택지별 응답 분포가 곧 이 논문이 읽어내려는 데이터다 — 러시아 교육감독청(Federal Service for Supervision in Education and Science), 퍼블릭 도메인 (Wikimedia Commons)

반전: 문제 문항이 아니라 문제없는 문항이 드러난다

여기서 논문의 가장 흥미로운 부분이 나온다. 이 척도로 무작위성이 가장 높게 나온 문항들은, 다른 경로로 이미 "진단적으로 신뢰할 수 없다"고 지적된 문항들과 정확히 같은 문항이었다. 다시 말해 엔트로피라는 단일 숫자가, 별도의 정밀 분석을 거쳐 내려진 문항 폐기 판정과 같은 곳을 가리켰다. 하나의 시험지, 한 번의 시행, 한 번의 계산으로 말이다.

이것이 통상적인 직관을 뒤집는다. 우리는 보통 "많이 틀린 문항"을 어려운 문항, 즉 가르칠 가치가 큰 문항으로 본다. 논문의 틀에서 교육적으로 쓸모 있는 것은 오히려 오답이 한 곳에 몰린 문항이고, 가장 쓸모없는 것은 만장일치로 흩어진 문항이다. 높은 무작위성은 논문이 "영(零) 가설"이라고 부르는 위치를 갖는다. 무언가가 있다는 증거가 아니라, 집중을 판정하기 위한 비교 기준점이라는 것이다. 오답의 절반이 같은 선택지를 골랐다는 사실은 부끄러운 기록이 아니라 다음 수업에서 다시 가르칠 지점의 좌표가 된다.

그냥 찍은 것 아닌가: 경쟁 가설들

가장 먼저 떠오르는 반론은 찍기다. 학생이 모르면 아무거나 고르므로 오답이 균등하게 퍼질 것 같지만, 실제 찍기는 균등하지 않다. 선택지가 길거나 짧거나, 숫자가 특정 형태이거나, 부정 표현이 들어간 선택지가 선호되는 경향이 오래 보고되어 왔다. 논문의 틀은 그런 편향을 없애지 않는다. 다만 편향이 강한 문항은 엔트로피가 낮은 쪽으로 나타날 것이고, 그 낮은 값이 실제 오개념과 겹치는지를 대조하는 것이 논문이 택한 방어선이다. 엔트로피만으로는 부르는 이름이 없고, 문서화된 오개념과의 교차 확인이 그 이름을 붙여 준다.

두 번째 가설은 난이도다. 아주 쉬운 문항은 소수만 틀리므로 오답 표본이 작고, 그 작은 표본이 우연히 한 곳에 몰릴 수 있다. 아주 어려운 문항은 반대로 모두가 찍는다. 논문이 표본 크기에 덜 매인 틀을 내세우는 이유가 여기 있지만, 표본이 극단적으로 작을 때 엔트로피 추정이 흔들린다는 사실 자체는 남는다. 세 번째 가설은 문항의 문장이다. 오개념이 아니라 애매한 표현 때문에 모두가 같은 오답으로 몰릴 수도 있고, 그 경우 낮은 엔트로피는 좋은 진단이 아니라 나쁜 문항의 증상이 된다. 이 구분은 엔트로피 하나로는 되지 않고, 교사가 선택지를 직접 읽어야 한다.

뉴턴 역학의 교과서적 상징. 이 논문이 검증에 쓴 표준 역학 개념 검사가 겨냥하는 오개념의 영역이다 — AntHolnes, CC BY-SA 3.0 (Wikimedia Commons)

논문이 스스로 인정한 한계

저자들은 이 분석을 기존 오답 분석 기법을 대체하는 정밀 도구가 아니라, 한 번의 시행으로 끝나는 빠른 분류(triage) 단계로 규정한다. 어떤 문항을 더 비싼 조사 대상으로 올릴지 표시해 주는 역할이라는 것이다. 인과를 말하지 않고, 오개념의 기원을 설명하지도 않는다. 학급 단위의 공유 오개념을 찾는 데 초점이 있고, 개별 학생의 진단은 범위 밖이다.

또 하나 분명히 해 둘 것은 검증의 성격이다. 논문이 보인 것은 이미 알려진 오개념과의 일치이지, 이 지표가 새로운 오개념을 발굴한다는 증거가 아니다. 표준 역학 개념 검사처럼 오개념이 인터뷰로 검증되어 문서화된 영역에서는 대조가 가능하지만, 그런 축적이 없는 과목이나 자체 제작 문항에서는 무엇과 대조할 것인가라는 문제가 남는다. 초록이 밝히는 범위는 여기까지이고, 그 이상은 논문이 주장하지 않는다.

교사와 출제자에게 남는 질문

실무적으로 이 논문이 주는 것은 도구 하나가 아니라 순서 하나다. 정답률 표를 먼저 보고, 오답 분포의 엔트로피를 그 옆에 붙이고, 낮은 쪽부터 선택지를 눈으로 읽는다. 낮은 문항에서는 "이 오답이 우리가 가르친 그 오개념인가"를 묻고, 높은 문항에서는 "이 문항이 애초에 무엇을 재려 했는가"를 묻는다. 후자의 질문은 문항을 버리라는 뜻이 아니라, 그 문항의 오답 선택지가 아무 정보도 나르지 못하고 있다는 뜻일 수 있다.

물론 숫자가 판단을 대신하지는 않는다. 같은 낮은 엔트로피가 훌륭한 진단일 수도 있고 형편없는 문장의 결과일 수도 있으므로, 결국 마지막 판정은 사람이 한다. 다만 그 판정의 순서를 값싸게 정렬해 준다는 것이 이 접근의 실질적인 값어치다.

여러분의 시험지에서, 가장 많이 틀린 문항과 가장 한 곳에 몰려 틀린 문항은 같은 문항인가? 만약 다르다면, 지금까지 여러분이 "어려운 문항"이라고 불러 온 것은 정말 어려운 것이었을까.

참고 자료

Diener, J. P. W., Frick, B. L., & Kriek, J. (2026). Determining the degree of randomness in multiple-choice question distractors. arXiv:2610.01431v1 [physics.ed-ph]. 2026년 10월 1일 제출.

arXiv:2610.01431 — https://arxiv.org/abs/2610.01431v1