점오차는 이겼는데 바다는 무너졌다 — AI 해양예보를 세 개의 자로 다시 재는 프레임워크 (arXiv 2611.04892)

예보를 채점하는 표에는 보통 한 칸만 있다. 관측값과 예보값의 차이를 전 지점에서 평균한 숫자, 즉 점별 오차(pointwise error)다. 이 숫자가 작으면 예보가 좋다고들 말한다. 그런데 2026년 11월 3일 arXiv에 올라온 한 편의 논문(arXiv 2611.04892, A Multidimensional Evaluation Framework for Artificial Intelligence-Based Ocean State Forecasts)은 그 한 칸이 조용히 거짓말을 할 수 있다는 이야기로 시작한다. 저자 18명은 AI 기반 해양 상태 예보가 기존 운영 예보 시스템에 “접근하거나 능가한다”는 평가가 바로 이 점별 지표 위에서 나왔다고 지적한다.

논문이 던지는 장면은 채점표가 아니라 그 아래 깔린 가정이다. 점별 오차를 평균내는 순간, 공간적으로 매끈하게 뭉갠 예보가 이긴다. 요철을 지우면 평균은 좋아지기 때문이다. 그리고 그 숫자는 예보 변수들이 서로 물리적으로 앞뒤가 맞는지, 즉 역학적 균형이 유지되는지는 전혀 묻지 않는다. 논문은 이 지점에서 “정확도”가 아니라 “신뢰도(trustworthiness)”를 재야 한다고 주장한다.

한 칸짜리 성적표가 왜 문제인가

저자들이 문제 삼는 것은 지표의 정밀도가 아니라 지표가 대표하는 대상이다. 점별 정확도(overall pointwise accuracy)는 유효한 모든 표본에서 예보와 참조값이 얼마나 일치하는지를 하나의 수로 요약한다. 요약하는 과정에서 공간 구조는 사라진다. 격자의 이웃한 점들이 서로 어떤 관계를 맺고 있는지는 평균 속에 녹아 없어진다.

해양 상태 예보에서 이 소실은 특히 위험하다. 해양은 온도, 염분, 유속, 해면고도가 서로 묶여 움직이는 계다. 한 변수를 따로 떼어 평균 오차를 재면, 그 변수 하나는 그럴듯한데 나머지와 어긋나는 예보가 좋은 점수를 받을 수 있다. 논문은 이런 상태를 “물리적 일관성의 결여”라고 부른다.

세 개의 자 — 점별 정확도, 물리적 일관성, 분포적 일관성

논문이 제안하는 다차원 프레임워크는 세 축으로 이루어진다. 첫째는 기존의 점별 정확도다. 둘째는 물리적 일관성으로, 모델 출력만으로 역학적 균형(dynamical balance)이 성립하는지를 평가한다. 관측을 동원하지 않고 예보장 자체의 내부 정합성을 보겠다는 발상이다. 셋째는 분포적 일관성으로, 예보의 꼬리 분포와 여러 규모에 걸친 공간 구조를 본다.

세 번째 축이 눈에 띄는 이유는 그것이 “평균은 맞는데 분포가 틀린” 경우를 잡아내기 때문이다. 예보가 극값을 깎아내리면 평균 오차는 오히려 줄어든다. 논문은 분포적 일관성에서 분포의 꼬리와 다중 규모 공간 구조를 함께 평가해야 한다고 말한다. 요약하면, 같은 예보를 세 개의 서로 다른 자로 재고 그 결과가 어긋나는 지점을 읽으라는 요구다.

낮은 오차가 숨기는 것 — 억눌린 잔규모 변동

논문의 첫 번째 결과는 반직관적이다. 점별 오차가 낮다는 사실이 상당한 역학적 불균형과 억눌린 잔규모 변동(suppressed fine-scale variance)을 배제하지 못한다. 다시 말해, 성적표에서 1등을 한 모델이 물리적으로는 더 망가진 상태일 수 있다. 저자들은 세 개의 AI 모델을 하나의 통합 운영 환경에 배치해 이 비교를 수행했다고 밝힌다.

왜 이런 일이 생기는가. 점별 오차는 예보를 부드럽게 만들수록 유리해지는 경향이 있다. 작은 소용돌이와 좁은 전선대를 지우면 관측과의 평균 거리는 줄어든다. 그러나 그 소용돌이와 전선대야말로 해양이 실제로 에너지를 옮기는 통로다. 논문은 이 억눌림을 “작은 규모의 변동이 사라진 상태”로 서술하며, 그것이 점별 지표에서는 벌점을 받지 않는다는 점을 문제로 든다.

전 지구 해수면온도 실시간 합성도. 점별 오차는 이런 장의 평균적인 일치만 재고, 장 안의 소용돌이와 전선 구조가 살아 있는지는 묻지 않는다 — NASA Scientific Visualization Studio (Kel Elkins, Greg Shirah, Ian Jones, Laurence Schuler), Public domain (Wikimedia Commons)

반전 — 오차가 큰 예보가 나쁜 예보가 아닐 때

두 번째 결과는 방향이 반대다. 점별 오차가 높게 나오는 원인이 진폭을 잘못 잡아서가 아니라, 일관된 구조가 공간적으로 어긋나게 놓였기 때문일 수 있다. 논문은 이를 “공간적 변위(spatial displacement)”로 설명한다. 예보가 소용돌이를 하나 만들어냈고 그 세기도 맞지만, 위치가 수십 킬로미터 밀려 있으면 점별 오차는 크게 벌점을 준다.

이 구분은 실무에서 결정적이다. 진폭을 못 맞춘 모델과 위치를 못 맞춘 모델은 고쳐야 할 지점이 전혀 다르다. 전자는 물성이나 매개변수화를 손봐야 하고, 후자는 초기장과 자료동화, 혹은 이동 속도를 봐야 한다. 하나의 숫자로 요약된 성적표는 이 둘을 같은 “나쁨”으로 뭉개버린다. 논문은 그래서 다차원 평가가 모델 개선의 표적을 정해준다고 주장한다.

여기에 한 가지 조건이 붙는다. 이 해석은 예보와 참조값을 단순히 격자 대 격자로 비교하지 않을 때만 성립한다. 저자들이 제안하는 틀은 구조를 먼저 인식하고 그 다음에 진폭과 위치를 분리해 재는 방향으로 짜여 있다. 점별 오차를 버리자는 것이 아니라, 점별 오차 하나로 결론을 내리지 말자는 것이다.

경쟁 가설과 반론 — “지표를 늘리면 되는 것 아닌가”

가장 자연스러운 반론은 이렇다. 점별 오차가 문제라면 지표를 몇 개 더 붙이면 되지 않느냐. RMSE 옆에 상관계수와 편향을 나란히 놓으면 충분하지 않으냐는 것이다. 논문의 답은 “지표의 개수가 아니라 지표가 묻는 질문이 다르다”는 쪽이다. 상관계수와 편향은 여전히 점별 대응을 전제하므로, 구조의 이동과 진폭 오류를 분리하지 못한다.

또 하나의 반론은 물리적 일관성 평가의 순환성이다. 모델 출력만으로 역학적 균형을 평가하면, 애초에 균형을 강하게 제약하는 모델이 유리해질 수 있다. 논문은 이 지점을 완전히 해소하지 않는다. 대신 세 축을 함께 보고 어긋남 자체를 정보로 읽자는 입장을 취한다. 한 축의 절대 점수보다 축 사이의 불일치가 더 많은 것을 말해준다는 것이다.

연구선에서 투하되는 아르고(Argo) 부이. 해양 상태 예보를 재려면 기준이 되는 관측망이 필요하고, 그 관측의 빈도와 위치가 평가의 해상도를 정한다 — NOAA GOMO, Public domain (Wikimedia Commons)

논문이 스스로 인정한 한계

저자들은 이 연구를 “예비적 프레임워크(preliminary framework)”라고 부른다. 세 축의 구성을 제안하고 세 모델에 적용해 보였지만, 그것이 확정된 표준이라는 주장은 하지 않는다. AI 모델 간 비교와 운영 구현을 위한 출발점이라는 표현이 논문의 자기 위치 설정이다.

또한 평가 대상이 세 개의 AI 모델로 한정되어 있다. 통합 운영 환경에서 비교했다는 점은 방법론의 장점이지만, 표본이 셋이라는 사실은 일반화의 폭을 좁힌다. 어떤 가중치로 세 축을 합칠지, 축 사이에 충돌이 생길 때 어느 쪽을 우선할지에 대한 규범적 답도 제시되지 않는다. 그 판단은 여전히 사용자와 운영 기관의 몫으로 남는다.

그래서 우리는 예보에 무엇을 물어야 하는가

이 논문이 남기는 것은 새 지표 하나가 아니라 질문의 순서다. 먼저 “평균이 맞는가”를 묻고, 다음에 “장이 물리적으로 자기 모순 없이 서 있는가”를 묻고, 마지막에 “꼬리와 작은 규모가 살아 있는가”를 묻는다. 세 질문의 답이 서로 어긋난다면, 그 어긋남이야말로 모델에 대해 가장 많은 것을 알려주는 신호다.

독자에게 던지는 질문은 이렇다. 우리가 매일 보는 예보의 “정확도 95%”라는 숫자는 무엇을 평균낸 값인가. 그리고 그 숫자가 좋아지는 동안, 우리가 보지 못하게 된 것은 무엇인가. 논문은 이 질문을 해양에 한정해 던졌지만, 답을 준비해야 할 분야는 훨씬 넓어 보인다.

참고 자료

Ziqing Zu 외 17인, “A Multidimensional Evaluation Framework for Artificial Intelligence-Based Ocean State Forecasts”, arXiv:2611.04892v1 [physics.ao-ph], 2026년 11월 3일 제출. https://arxiv.org/abs/2611.04892