AI를 많이 쓴 학생이 더 자신 있어 하지는 않았다 — 11개 분반 설문에서 갈린 것은 사용 횟수가 아니라 순서였다 (arXiv 2611.04148)

2026년 가을학기, 미국의 네 개 대학에서 대수 기반과 미적분 기반 일반물리학 11개 분반이 같은 설문지를 돌렸다. 학기 마지막에 걷은 응답에서 두 숫자가 눈에 걸린다. 90.9%가 'AI를 쓰고 나서 개념 이해가 나아졌다'고 답했고, 97.7%가 'AI가 만들어 준 비슷한 연습문제가 도움이 됐다'고 답했다. 거의 전원이 손을 든 셈이다.

그런데 같은 설문에서 'AI를 얼마나 자주 썼는가'는 학기 후 자신감과 사실상 무관했다. 상관계수 0.02다. 많이 쓴 학생이 더 자신 있어 하지도, 적게 쓴 학생이 더 뒤처지지도 않았다. arXiv 2611.04148, 물리교육(physics.ed-ph) 분야에 2026년 11월 3일 올라온 이 논문이 던지는 질문은 그래서 'AI를 쓸까'가 아니라 '어떻게 쓸까'다.

네 단계로 묶은 AI 사용법, P-A.I.R.

논문의 이름은 'Physics AI-Replication', 줄여서 P-A.I.R.이다. 학생은 먼저 스스로 풀기 어려운 문제 하나를 고른다. 다음으로 AI에게 그 문제의 설명과 풀이를 받는다. 세 번째로 '이와 비슷한 문제를 더 달라'고 요청해 연습문제를 얻는다. 마지막으로 그 연습문제를 혼자 풀어 본 뒤에야 AI의 풀이를 다시 열어 본다.

핵심은 순서다. 설명을 읽고 끝내는 대신, 같은 구조의 문제를 자기 손으로 한 번 더 통과하게 만든다. 논문은 이 네 단계를 'AI 도움 뒤에 독립적 문제 풀이를 배치하는 틀'이라고 부른다. 저자들은 빌라스 폴, 샨타누 차크라보티, 슈루티 슈레스타, 비노드 나이나바스티, 비사즈 폴 다섯 명이다.

90.9%와 97.7%가 서로를 붙잡고 있었다

이 두 응답은 따로 놀지 않았다. '개념 이해가 나아졌다'와 '복제 연습문제가 도움이 됐다' 사이의 순위상관은 0.58이었다. 중간 정도로 강한 연관이다. 개념이 잡혔다는 느낌과, 같은 문제를 다시 풀어 본 경험이 한 묶음으로 움직였다는 뜻이다.

학기 후 자신감의 평균은 10점 만점에 7.18이었고, 이 값은 네 기관에서 비슷하게 나왔다. 논문은 기관 간 일관성을 강조한다. 11개 분반, 네 개 대학이라는 조건이 서로 다른데도 학생들이 보고한 방향이 크게 어긋나지 않았다는 것이다.

조지아공과대학교 하위 물리학관 강의실 — JJonahJackalope, CC BY-SA 4.0 (Wikimedia Commons)

많이 쓰는 것과 잘 쓰는 것은 다른 축이다

가장 반직관적인 대목은 여기다. 자신감과 'AI 사용 빈도'의 상관은 0.02로 사실상 0이었다. 같은 자신감과 '개념 이해 개선'의 상관은 0.37, '복제 연습문제 유용성'의 상관은 0.35였다. 빈도는 아무것도 설명하지 못했고, 사용의 구조는 두 배 가까이 설명했다.

논문은 이 차이를 근거로 '얼마나 자주'보다 '어떻게'가 중요하다고 주장한다. 흥미로운 것은 자기보고 GPA와의 상관도 0.13으로 낮았다는 점이다. 성적이 좋은 학생이 이 틀을 더 잘 받아들였다는 증거도 약하다는 뜻이다.

반론: 원래 공부를 잘하던 학생이었을 가능성

가장 먼저 떠오르는 반론은 선택 효과다. AI를 체계적으로 쓰는 학생은 원래 자기주도 학습 습관이 있는 학생이고, 그 습관이 자신감을 만들었을 수 있다. 이 경우 P-A.I.R.은 원인이 아니라 표지판일 뿐이다.

논문이 이 반론을 완전히 제거하지는 못한다. 다만 GPA 상관이 0.13에 그쳤다는 점, 그리고 응답이 네 기관에서 비슷했다는 점을 방어 자료로 내놓는다. 다른 설명도 가능하다. 학기 말 설문은 기억을 되짚는 자기보고이므로, AI를 많이 쓴 학생일수록 자기 사용을 더 후하게 기억할 수 있다.

학생들이 직접 말한 불만 두 가지

주관식 응답을 주제별로 묶은 결과, 63.0%가 AI의 가치를 '개념을 명확히 해 주는 것'과 '문제 풀이를 구조화해 주는 것'에서 찾았다. 반면 우려로는 정확성(34.2%)과 '답만 주지 말고 길을 안내해 달라'(29.7%)가 나왔다.

이 두 우려는 서로 연결돼 있다. AI가 틀린 풀이를 자신 있게 제시하면, 학생은 그 오류를 검증할 기준을 아직 갖고 있지 않다. 그래서 '설명을 먼저 읽고 연습문제를 나중에 푼다'는 순서가 단순한 교수법 취향이 아니라 오류를 걸러내는 장치로 기능한다.

논문이 스스로 인정한 한계

이 연구가 측정한 것은 성취도 시험이 아니라 학기 말 설문의 인식이다. 개념 이해가 실제로 늘었는지는 이 설문만으로 판정할 수 없다. '나아졌다'는 응답은 학생이 느낀 변화이지, 역학 개념 검사(FCI) 같은 표준 도구로 잰 향상이 아니다.

논문은 또한 응답이 특정 학기, 특정 11개 분반에 묶여 있다는 점을 전제로 깔고 있다. 대조군 없이 한 번의 설문으로 얻은 상관은 인과가 아니다. 저자들이 내놓는 결론도 그래서 '이 틀이 실용적이고 옮겨 쓸 만하다'는 수준이지, '이 틀이 학습을 향상시킨다'는 확정은 아니다. 논문은 그렇게 주장한다.

수업에서 바꿀 수 있는 것은 생각보다 작다

이 논문이 실무적으로 주는 함의는 거창하지 않다. AI를 금지하거나 전면 허용하는 이분법 대신, 과제 안에 '비슷한 문제를 하나 더 만들고, 그것을 먼저 풀어라'는 한 줄을 넣는 것이다. 새 교재도, 새 도구도 필요 없다.

물리 교육에서 이 순서가 특히 잘 맞는 이유도 짐작할 수 있다. 물리 문제는 숫자가 달라져도 같은 방정식 구조를 반복하므로, 복제 문제를 만드는 비용이 낮고 효과는 즉시 확인된다. 다만 이것은 논문의 발견을 해석한 것이지 논문이 직접 검증한 결론은 아니다.

AI에게 답을 받은 뒤 그 답을 덮고 같은 문제를 다시 풀어 본 적이 있는가. 있다면 그때 느낀 것은 '이해했다'였는가, 아니면 '이 풀이를 따라갈 수 있다'였는가. 이 논문이 구분하려는 지점이 정확히 그 사이에 있다.

참고 자료

Bilas Paul, Shantanu Chakraborty, Shruti Shrestha, Binod Nainabasti, Bisaj Paul, 'Active Learning with Generative AI in Introductory Physics: A Multi-Institutional Study of the P-A.I.R. Framework', arXiv:2611.04148 (physics.ed-ph), 2026-11-03. https://arxiv.org/abs/2611.04148