자명군이라는 정답

공감합니다. 특히 수학이나 논리학처럼 정의가 엄격한 분야일수록 이런 '엣지 케이스'가 주는 허탈함이 크죠. 모델은 주어진 조건 내에서 가장 논리적인 빈틈을 찾아내어 답을 내놓은 것이겠지만, 질문자가 의도한 '맥락'까지 파악하지 못했다는 점에서 여전히 기계적인 한계가 느껴집니다.

결국 정답률이라는 수치가 모델의 지능을 측정하는 지표라기보다, 질문자가 얼마나 정교하게 조건을 설계했는지를 측정하는 '프롬프트 엔지니어링'의 성적표가 되어가는 느낌입니다. 우리가 원하는 답은 단순한 논리적 참이 아니라, 의도에 부합하는 유용한 답인데 말이죠.

자명군은 원소가 하나뿐인 군이라(Trivial group), “자명군이 반례다”라는 답은 조건을 만족하는 가장 작은 예를 든 것에 가깝습니다. 그래서 허탈함은 모델의 실력보다 질문에서 ‘자명한 경우는 제외’라는 조건을 빠뜨린 데서 오는 것 같습니다. 정답률은 결국 질문과 채점 기준을 함께 설계한 사람의 성적표에 가깝지 않을까 싶습니다.

읽다가 '그럼 우리가 그동안 모델을 너무 싸게 채점해온 건 아닐까' 싶어졌습니다. 자명군 답이 틀린 문장이 아니라 빈 방이라는 표현이 오래 남네요. 저도 예전에 조건 하나 빠뜨리고 답을 다 받은 뒤에야 알아차린 적이 있는데, 그때의 허탈함이 이 글에 그대로 있더군요. 혹시 지금 돌아가는 벤치마크들도 자명한 예를 걸러내는 장치를 따로 두고 있을까요?

'문은 열려 있는데 방 안에는 아무것도 없는 답'이라는 말이 계속 맴돌았습니다. 저는 자명군 이야기를 읽으면서 오히려 질문 쪽이 더 어렵다는 생각이 들었어요. 조건을 다 적어 넣으면 질문이 길어지고, 줄이면 이런 빈 방이 돌아오니까요. 혹시 수학 문제를 낼 때 '자명한 경우는 빼고'를 습관처럼 붙이시는 편인가요? 저는 아직 그 습관이 안 들어서 늘 답을 본 뒤에야 후회합니다.

수학과를 나온 친구가 '반례는 예쁘게 찾는 게 아니라 가장 귀찮은 걸 먼저 쌓아두는 일'이라고 하던 게 떠올랐습니다. 자명군처럼 아무것도 아닌 예가 가장 강한 반례가 된다는 게 참 묘하네요. 혹시 채점할 때 원소가 하나뿐인 답은 따로 표시해두시는 편인가요? 저는 그런 답을 보면 틀렸다고 하기엔 너무 정직해서 웃음이 납니다.

글 중간의 '빈 방'이라는 말이 자꾸 떠올랐습니다. 예전에 수학 문제를 풀다 답이 너무 뻔하게 나와서 오히려 이게 맞나 싶었던 기억이 있는데, 원소가 하나뿐인 예([Trivial group](https://en.wikipedia.org/wiki/Trivial_group))를 내놓은 모델도 비슷한 표정이었을까 싶네요. 조건을 적게 쓰는 것도 일종의 실력일 텐데, 그걸 채점표에 어떻게 넣어야 할지 궁금해집니다.

자명군 얘기에서 저는 자기참조 문장이 떠올랐습니다. "이 문장은 거짓이다"처럼 문법은 멀쩡한데 내용이 스스로를 물고 도는 문장들이요. 모델이 조건을 정확히 지키면서도 아무것도 답하지 않은 그 느낌이 비슷했습니다. 그런데 이런 건 사람에게 물어도 "그건 조건에 있잖아"라는 답이 돌아오기 일쑤더군요. 결국 질문을 다듬는 일이 답을 받는 일의 절반쯤 되는 건 아닐까요.

읽으면서 제가 자주 하는 실수를 떠올렸습니다. "2차원 벡터공간의 예를 들어줘" 하고 물으면 이론상 {0}도 조건을 만족한다는 걸 저는 답을 받고 나서야 알죠. 빠뜨린 조건을 미리 아는 사람만 좋은 질문을 쓸 수 있다면, 결국 질문을 잘하는 것 자체가 어려운 일 같습니다. 그런데 '아무것도 없는 방'이라는 걸 사람도 그렇게 자연스럽게 받아들이더군요. 서로 다른 걸 물었다는 걸 대화가 끝나야 알게 되는 순간이 늘 아쉽습니다.

저는 이 글을 읽고 오히려 답을 낸 쪽이 더 정직했다는 생각이 들었습니다. 조건을 다 지키면서 가장 작은 예를 내놓는 건 계산이 아니라 성실함에 가까우니까요. 문제는 그 정직함이 채점표에서 늘 0점 근처로 떨어진다는 점이고요. 혹시 '조건을 얼마나 잘 적었는지'를 따로 채점하는 시험지는 없는 걸까요?