정답을 붙여넣은 학생을 걸러내는 법 — 아무것도 가르치지 않는 AI 조교를 여덟 번 다시 만든 기록 (arXiv:2610.22949)

학생이 물리 문제를 챗봇 창에 붙여 넣고, 매끄럽고 정확한 답을 받아 그대로 제출한다. 논문 「Designing an AI Agent That Does Not Tutor」가 첫 문단에서 그리는 장면이다. 강사가 알고 싶은 것은 학생이 개념을 이해했는가인데, 실제로 확인할 수 있는 것은 정답이냐 오답이냐뿐이다. 저자 Byungmoon Cho는 이 둘이 이미 갈라졌다고 말한다.

그래서 만든 것이 가르치는 에이전트가 아니라 묻기만 하는 에이전트다. 입문 역학을 위한 대화형 에이전트이고, 설계 목표가 독특하다. "정답만으로는 통과할 수 없는 계측기"로 쓰이도록 만들었다는 것이다. 이 논문은 그 계측기를 여덟 번 다시 만들고 40회가 넘는 대본 시뮬레이션을 돌린 뒤 남은 설계 규칙을 보고한다. 학습 성과에 대한 논문이 아니라고 저자 스스로 못 박는다.

정답과 이해가 갈라진 자리

강사가 필요한 정보는 정답 여부가 아니라 이해 여부다. 그런데 이 둘을 한 문항으로 동시에 잴 수 없다는 것이 논문의 출발점이다. 정답을 고르는 능력은 이해 없이도 대체될 수 있고, 챗봇은 그 대체를 매우 싸게 만든다. 논문은 이 상황을 "유창하고 정확한 답이 이해 없이 제출된다"는 한 문장으로 요약한다.

여기서 흔한 처방이 나온다. 과정을 보자는 것, 즉 답뿐 아니라 풀이를 요구하자는 것이다. 논문은 그 처방이 겨냥하는 바를 인정하면서도, 한 문항의 정오 판정으로는 보이지 않는 것이 있다고 주장한다. 그 보이지 않는 것을 재는 데 이 에이전트를 쓴다.

'동굴 탐지' — 변수를 하나 바꿔서 확인한다

논문의 핵심 측정 도구는 '동굴 탐지(cave detection)'다. 정의는 이렇다. 학생이 처음에 올바른 아이디어를 냈다가, 상황의 변수 하나가 바뀌면 그 아이디어를 버리는 경우를 식별하는 것. 처음의 정답이 진짜 이해에서 나왔는지, 아니면 그 상황에만 맞는 표면적 규칙이었는지를 가르는 지점이 여기다.

절차는 세 단계다. 학생에게 일상적인 상황에 대한 예측을 먼저 확정하게 하고, 물리 용어 없이 그 예측을 설명하게 하고, 학생이 자기 말로 꺼낸 표현을 재료로 삼아 만든 변형 사례에 맞서 그 설명을 방어하게 한다. 요점은 변형 사례가 교사의 문장이 아니라 학생의 문장으로 조립된다는 것이다.

소크라테스 흉상, 루브르 박물관 소장. 로마 시대 대리석(1세기)으로, 리시포스의 청동 원작을 옮긴 것으로 추정된다. 사진 Eric Gaba, 퍼블릭 도메인 (Wikimedia Commons)

바꾸는 것은 정확히 하나

변형 사례에는 제약이 하나 붙는다. 각 사례는 변수를 정확히 하나만 바꿔야 한다. 두 개를 동시에 바꾸면 학생이 답을 바꿨을 때 그 변화가 어느 아이디어 때문인지 추적할 수 없기 때문이다. 계측기 설계의 문제이지 대화의 문제가 아니다.

이 제약은 비용을 만든다. 무작위로 상황을 흔들어 보는 방식은 쓸 수 없고, 학생의 답변마다 어느 변수를어느 방향으로 바꿀지 결정해야 한다. 논문이 설계 규칙을 여덟 판에 걸쳐 고쳐 쓴 이유도 여기에 있다. 규칙 하나를 고치면 다른 규칙이 깨지는 식이었다고 저자는 서술한다.

이 에이전트는 가르치지 않는다. 힌트를 주지 않고, 확인해 주지 않고, 교정하지 않는다. 대화가 끝날 때까지 아무것도 보고하지 않는다. 학생 입장에서는 계속 혼자 생각하는 것처럼 보여야 한다. 논문은 이것을 기능이 아니라 계측기의 작동 조건으로 설명한다.

그래서 흔한 AI 조교와 역할이 정반대다. 대부분의 교육용 에이전트는 모르는 것을 알려 주는 쪽으로 최적화되어 있고, 친절함이 곧 품질로 취급된다. 이 논문이 겨냥하는 것은 그 친절함이 측정을 망치는 경로다.

반전 — 금지어 목록이 칭찬을 늘렸다

LLM 에이전트는 평가 정보를 흘린다. 논문이 꼽는 누출 경로는 칭찬, 단어 선택, 답변 길이, 말의 속도다. 학생이 "이 답이 맞았구나"를 이 네 가지에서 읽어 내면, 그 순간부터 추론을 멈춘다. 계측기는 그렇게 스스로를 무력화한다.

직관적인 해법은 금지어 목록이다. 칭찬 표현을 나열하고 쓰지 말라고 하면 될 것 같다. 논문의 보고는 반대다. 금지어를 나열한 판본에서 칭찬이 오히려 늘었다. 프롬프트에 예시를 하나 넣은 판본에서는 그 예시가 무관한 대화로 번졌다. 누출을 막으려는 명시적 지시가 누출의 새 통로가 된 셈이다.

타이중시 주런중학교의 물리·화학 퀴즈 시간. 사진 chia ying Yang, CC BY 2.0 (Wikimedia Commons)

경쟁 가설 — 사람이 물어보면 되지 않나

가장 먼저 떠오르는 반론은 사람이다. 숙련된 교사가 구두로 물어보면 변수를 바꿔 가며 이해를 확인할 수 있고, 굳이 에이전트를 만들 이유가 없다. 논문은 이 비교를 수행하지 않는다. 사람 면담과의 대조 실험이 없다는 점은 뒤에서 다시 언급된다.

또 하나의 가설은 탐지 쪽이다. 챗봇으로 쓴 답안을 판별하는 도구를 쓰면 되지 않느냐는 것이다. 논문의 측정 대상은 답안의 출처가 아니라 학생이 가진 아이디어의 견고함이다. 출처 판별은 "이 답을 누가 썼나"에 답하고, 동굴 탐지는 "이 답이 변수를 바꿔도 버티나"에 답한다. 두 질문이 다르다는 것이 이 논문의 암묵적 주장이다.

논문이 스스로 인정한 한계

저자는 한계를 먼저 밝힌다. 증거는 시뮬레이션뿐이고, 실제 학생은 이 에이전트를 써 본 적이 없다. 페르소나와 채점 규칙을 모두 저자 혼자 작성했다. 다시 말해 학생 역할도 채점자 역할도 같은 사람이 설계한 대본 위에서 돌아간 것이다.

그래서 이 논문이 보고하는 것은 학습 결과가 아니라 설계 소견이다. 실제 교실에서 이 계측기가 무엇을 재는지, 학생이 그것을 계측기로 받아들이는지, 몇 번의 변형 사례가 필요한지는 아직 측정된 바 없다. 규칙 목록은 가설이고, 검증은 다음 단계로 남아 있다.

독자에게 던지는 질문

이 논문이 남기는 것은 도구라기보다 기준 하나다. 정답 하나로는 통과할 수 없게 설계하라. 그리고 그 기준을 세우는 순간, 우리가 "친절하다"고 부르던 응답 습관이 전부 평가 정보의 누출 경로가 된다는 사실이 따라온다.

질문은 이렇다. 당신이 학생이었다면, 아무것도 알려 주지 않고 확인도 해 주지 않는 대화 상대와 몇 분을 버틸 수 있겠는가. 그리고 당신이 교사라면, 정답을 맞힌 학생에게 "왜 맞았는지 하나만 바꿔 다시 말해 보라"고 물을 자신이 있는가.

참고 자료

Byungmoon Cho, 'Designing an AI Agent That Does Not Tutor: Design Rules for Socratic Probing in Introductory Physics', arXiv:2610.22949v1 [physics.ed-ph], 2026-10-16. https://arxiv.org/abs/2610.22949v1

이미지 출처: 소크라테스 흉상 — Eric Gaba, 퍼블릭 도메인 (Wikimedia Commons) / 타이중 주런중학교 퀴즈 — chia ying Yang, CC BY 2.0 (Wikimedia Commons). 본문의 수치와 설계 규칙은 모두 위 arXiv 초록에 근거하며, 논문에 없는 사실은 추가하지 않았다.