47,533번의 제출이 말해준 것 — 양자 회로 과제에서 성적표가 감추는 것

2024학년도 어느 강좌의 첫 양자 회로 과제. 학습자가 시뮬레이터 화면에서 큐비트를 끌어다 놓고 게이트를 얹은 뒤 제출 버튼을 누르면, 그 순간 하나의 응답 로그가 남는다. 논문 「Using Learning Analytics to Study Novice Learners' Work on Quantum Circuit Simulator Tasks」가 다룬 것은 바로 이 로그다. 2024-2025 코호트의 학습자 492명, 유효 제출 47,533건, 필수 양자 회로 과제 21개. 초록에 적힌 이 세 숫자만으로도 한 학기 동안 화면 앞에서 오간 시행착오의 부피가 짐작된다.

그런데 강의가 끝나면 강사에게 남는 것은 보통 성적표 한 장이다. 누가 몇 점을 받았고, 몇 명이 낙제했고, 평균이 어땠는지. 47,533번의 제출은 그 숫자 하나로 압축되고, 압축되고 나면 사라지는 것이 있다. 이 논문은 사라지는 쪽을 붙잡으려는 시도다. 저자들은 학습자를 평가하는 도구가 아니라 과제를 진단하는 도구를 만들었다고 말한다.

성적표에 남지 않는 여섯 가지

논문이 제시하는 것은 양자 회로 시뮬레이터 과제를 위한 학습 분석 프레임워크다. 저자들은 이를 두 갈래로 나누는데, 실제 분석의 무게는 과제 수준(task-level) 갈래에 실려 있다. 이 갈래는 각 과제를 여섯 가지 지표로 묘사한다. 참여(participation), 완료(completion), 첫 시도 정확도(first-attempt accuracy), 유효 시도 횟수(valid-attempt counts), 세션 단위로 나눈 실제 활동 시간(sessionised active time), 그리고 관찰된 답 공간(observed answer-space) 보고다.

앞의 다섯 개는 비교적 익숙한 지표다. 눈에 익지 않은 것은 여섯 번째다. 답 공간 보고는 학습자들이 실제로 제출한 회로 구성들을 모아, 어떤 정답 구성이 흔하고 어떤 오답 구성이 반복되는지를 보여주는 요약이다. 점수는 "이 과제가 어려웠다"까지만 말해 주지만, 답 공간은 "무엇을 어떻게 어려워했는가"를 말해 준다. 논문은 이 요약이 강사가 직접 읽고 해석할 수 있도록 평문(plain-text) 형태로 설계되었다고 밝힌다.

양자 회로의 모식도. 논문이 분석한 것은 회로 자체가 아니라, 학습자가 시뮬레이터에 제출한 회로들의 기록이다 — Ahmedrabiah, CC BY-SA 4.0 (Wikimedia Commons)

병목 과제란 무엇인가

프레임워크가 찾아낸 첫 번째 산물은 병목 과제(bottleneck task)다. 많은 학습자가 도달하지 못하거나, 도달은 하되 유효 시도 횟수가 비정상적으로 부풀어 오르는 과제다. 여기서 유효 시도 횟수는 단순한 실패 횟수가 아니다. 제출이 유효했다는 것은 형식적으로 회로가 성립했다는 뜻이고, 그런 제출이 여러 번 쌓였다는 것은 학습자가 "무엇이 틀렸는지 모른 채" 반복해서 다시 눌렀다는 신호에 가깝다.

두 번째 산물은 넓은 답 공간(broad solution space)을 가진 과제다. 같은 기능을 하는 회로가 여러 모양으로 존재하는 과제에서는, 정답률 하나로 과제의 난이도를 판정하기 어렵다. 학습자들이 서로 다른 경로로 같은 목적지에 도달하고 있을 수 있기 때문이다. 논문은 이런 과제를 낮은 성취로 오독하지 않도록, 정답 구성과 오답 구성을 함께 관찰해야 한다고 주장한다.

반전: 문제는 학생이 아니라 과제일 수 있다

여기에 이 논문의 가장 반직관적인 주장이 있다. 저자들은 이 프레임워크가 "최종 점수만으로는 보이지 않는" 병목 과제와 반복되는 오답 패턴을 드러낸다고 적는다. 다시 말해, 어떤 과제에서 많은 학습자가 같은 오답 구성에 수렴한다면 그 현상은 학습자 집단의 능력 부족이라기보다 과제 설계의 문제일 수 있다. 오답이 무작위로 흩어지지 않고 특정 모양으로 몰린다는 사실 자체가 그 증거가 된다.

이 관점 전환은 진단의 단위를 바꾼다. "누가 못했는가"에서 "무엇이 사람들을 같은 곳에서 넘어지게 했는가"로 옮겨가는 것이다. 논문이 학습자 수준(learner-level) 갈래를 곁가지로 두고 과제 수준 갈래를 본체로 삼은 것도 같은 이유다. 저자들은 학습자 수준 분석을 진행 중인 연구 확장으로만 남겨 두고, 이번 논문의 중심 경험적 기여는 아니라고 명시한다. 이 태도는 신중함인 동시에, 이 논문이 학생 평가 도구로 읽히는 것을 막으려는 선긋기이기도 하다.

경쟁 가설: 그냥 어려운 과제였을 뿐

가장 먼저 떠오르는 반론은 단순하다. 병목 과제는 그저 어려운 과제이고, 오답 패턴은 개념이 어려워서 생긴 자연스러운 결과라는 것이다. 이 반론을 완전히 배제하려면 같은 개념을 다른 방식으로 가르친 대조 집단이 필요하지만, 논문의 데이터는 한 강좌, 한 학습 환경(TIM)의 익명화된 로그다. 대조군 없는 관찰 연구라는 점을 먼저 인정해야 한다.

두 번째 가설은 학습자 구성에 관한 것이다. 초록은 이 강좌가 다양한 전공 배경의 학습자를 대상으로 한 입문 양자 컴퓨팅 교육이라고 적는다. 그렇다면 특정 과제의 낮은 성취는 개념 난이도가 아니라 사전 지식의 분포 차이일 수 있다. 세 번째 가설은 도구 마찰이다. 시뮬레이터 인터페이스 자체가 낯설어서 생긴 반복 제출은 물리 개념의 오해가 아니다. 논문이 제출 로그만으로 이 세 가설을 구분해 냈다고 주장하지는 않는다. 다만 답 공간 요약은 첫 번째와 세 번째 가설을 가르는 실마리로 쓸 수 있다는 것이 이 프레임워크의 제안이다.

저자들이 스스로 인정한 한계

논문은 로그가 익명화되었다는 점을 분명히 밝힌다. 익명화는 윤리적으로 옳지만, 동시에 분석의 해상도를 제한한다. 같은 학습자의 여러 과제를 가로질러 연결하려면 결국 개인 수준 추적이 필요한데, 이번 논문은 그 연결을 중심 결과로 내세우지 않는다. 학습자 수준 갈래가 "진행 중인 확장"이라는 표현 속에는 이런 방법론적 유보가 담겨 있다.

또 하나의 한계는 데이터의 범위다. 2024-2025 코호트, 492명, 21개 필수 과제는 하나의 강좌가 제공할 수 있는 표본이지만, 다른 기관이나 다른 시뮬레이터로 일반화할 근거는 아직 없다. 그리고 로그는 제출된 회로만 기록한다. 학습자가 제출 전에 화면에서 무엇을 고민했는지, 어떤 회로를 만들다가 지웠는지는 남지 않는다. 관찰된 답 공간은 실제 사고 공간의 그림자가 아니라, 제출이라는 문을 통과한 것들의 목록이다.

대학 컴퓨터 실습실. 논문의 데이터는 한 입문 강좌에서 나온 익명화된 제출 로그 47,533건이다 — Caiguanhao, CC BY-SA 3.0 (Wikimedia Commons)

그래서 강의는 어떻게 바뀌는가

논문이 내세우는 실용적 가치는 진단에서 멈추지 않는다. 저자들은 이 로그가 실행 가능한 과제 설계 문제(actionable task-design issues)를 드러내고 구체적인 강의 재설계를 뒷받침한다고 말한다. 병목 과제에는 사전 안내나 부분 과제를 붙이고, 답 공간이 넓은 과제에는 단일 정답 채점 대신 구성의 타당성을 검토하는 기준을 마련하는 식이다. 중요한 것은 이 결정들이 성적 분포가 아니라 제출의 모양을 보고 내려진다는 점이다.

여기서 이 논문의 진짜 주장이 드러난다. 학습 분석은 학습자를 더 촘촘히 감시하는 기술이 아니라, 가르치는 쪽의 설계 실수를 더 빨리 발견하는 기술이 될 수 있다는 것. 47,533건의 로그를 남긴 학습자들은 아마 자신이 어떤 과제의 개선에 기여했는지 모를 것이다. 그러나 그 기록은 다음 코호트가 같은 곳에서 넘어지지 않게 하는 근거가 된다. 다만 이 효용은 논문이 제시한 프레임워크를 실제로 적용해 본 뒤에 검증될 문제이지, 로그가 존재한다는 사실만으로 보장되지 않는다.

독자에게

우리는 대개 결과로 사람을 재단하는 데 익숙하다. 낮은 점수는 노력 부족, 높은 점수는 이해의 증거로 읽힌다. 이 논문은 그 독법이 놓치는 것을 데이터로 지목한다. 같은 오답에 수렴하는 다수의 제출은 개인의 실패가 아니라 설계의 신호일 수 있고, 그 신호는 성적표에는 끝내 나타나지 않는다.

그렇다면 질문은 이렇게 바뀐다. 당신이 최근에 배우다가 막혔던 것은, 당신이 부족해서였을까, 아니면 그 과제가 애초에 당신을 엉뚱한 곳에서 넘어지게 설계되어 있었기 때문일까. 그리고 만약 후자라면, 그 사실을 알려 줄 로그는 어디에 남아 있을까.

참고 자료

Juuso Jaakola, Vlad Stirbu, Teiko Heinosaari, 「Using Learning Analytics to Study Novice Learners' Work on Quantum Circuit Simulator Tasks」, arXiv:2610.09499v1 (physics.ed-ph), 2026-10-07.

https://arxiv.org/abs/2610.09499v1