글을 쓰지 않는 450개의 두뇌 — 8B 모델로 프런티어 기록을 넘은 스웜 진화 검색

2026년 11월 5일, arXiv에 한 편의 논문이 올라왔다. Qile Jiang과 George Em Karniadakis가 쓴 「SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization」이다. 초록에 붙은 숫자는 이렇다. 한 라운드에 450개의 에이전트, 라운드 하나에 1분 남짓, 그리고 다른 최신 프레임워크가 60분 걸려 도달하는 점수에 중앙값 3~8분 만에 닿는다는 문장.

이 숫자가 이상하게 읽히는 이유는 따로 있다. 요즘 LLM으로 수학 문제를 푸는 방식은 대개 '더 오래 생각하게 하는 것'이다. 생각의 사슬을 길게 쓰고, 그 글을 다시 읽히고, 고쳐 쓴다. SwarmEvolve는 정확히 반대 방향으로 간다. 에이전트들은 글을 한 자도 쓰지 않는다. 40걸음 동안 은닉 상태 안에서만 생각하고, 생각의 결과를 KV 캐시라는 텐서 덩어리로 다음 에이전트에게 건넨다.

한 라운드에 450개의 작은 두뇌

논문이 정의하는 한 라운드는 10개의 무리(swarm)로 시작한다. 무리마다 45개의 잠재 에이전트가 들어가니 모두 450개다. 무리는 역할이 나뉜다. 4개는 보관소에 있는 최상위 두 프로그램을 하나씩 맡아 더 다듬고, 3개는 상위 10개에서 무작위로 뽑은 5개 프로그램을 섞어 교배를 시도한다. 2개는 보관소 전체에서 뽑은 프로그램과 아예 아무 부모도 없는 문제문만 받아 탐색하고, 1개는 초기 프로그램만 들고 완전히 새로운 출발을 시도한다.

프롬프트도 기계적으로 다양화된다. 초점을 표현하는 5가지 문장형과 사고 방식 9가지(제1원리부터 다시 세우기, 가정을 의심하기 등)를 조합해 무리 안 45개 에이전트가 서로 다른 지시를 받는다고 논문은 설명한다. 즉 다양성은 모델의 창의성에 기대는 것이 아니라, 프롬프트 조합과 부모 프로그램 배정이라는 설계에서 나온다.

찌르레기 떼의 군무. 논문이 말하는 '무리'는 개체가 서로의 상태를 주고받으며 전체적으로 하나의 형태를 만드는 현상의 공학적 번안이다 — Walter Baxter, CC BY-SA 2.0 (Wikimedia Commons)

40걸음의 잠재 사고, 그리고 KV 캐시

각 에이전트는 문제문, 자기 초점 프롬프트, 배정된 부모 프로그램과 그 평가 결과를 읽고 40번의 잠재 추론 단계를 밟는다. 여기서 토큰을 하나도 샘플링하지 않는다. 450개 에이전트가 한 배치로 동시에 돌고, 같은 프로그램을 읽은 에이전트들은 페이지드 어텐션으로 그 프로그램 KV 캐시의 한 복사본을 공유한다. 이것이 속도의 실체다.

다음은 선별이다. 무리마다 45개 중 30개만 남기고 15개를 버린다. 기준은 40단계에 걸친 평균 은닉 상태를 무리 평균에 대해 중심화하고 단위벡터로 정규화한 뒤, 코사인 거리에서 가장 먼 점을 하나씩 골라 채우는 탐욕적 최원점 선택이다. 비슷한 생각을 한 에이전트는 탈락하고, 끝까지 남은 소수만 요약 에이전트에게 전달된다.

요약 에이전트는 남은 30개의 KV 캐시를 층마다 이어 붙여 하나의 긴 캐시로 받는다. 위치 정보가 없는 값(value)은 그대로 붙이고, 키(key)는 블록 위치에 맞춰 회전시킨다. 이렇게 하면 서로 다른 부모를 읽은 에이전트들의 사고가 한 문맥 안에서 물리적으로 이웃하게 된다. 논문은 이 지점을 '교배가 잠재 공간에서 자연히 일어난다'고 표현한다. 텍스트로 옮겨 적고 다시 읽히는 과정이 통째로 생략된 것이다.

반전: 8B 모델이 프런티어 모델의 기록을 넘었다

실험은 수학적 발견과 과학 계산의 21개 문제에서 이뤄진다. 그중 16개는 AlphaEvolve 논문 부록 B에서 온 원·육각형 패킹, 하일브론 문제, 거리비, 자기상관 부등식, 에르되시 중첩 문제 같은 고전들이고, 5개는 희소 선형계, 비정규 행렬의 고윳값, 버거스·대류확산·헬름홀츠 방정식용으로 저자들이 새로 설계한 과학 계산 문제다. 점수는 각 문제의 목적값을 AlphaEvolve가 발표한 구성의 값으로 나눈 비율이라, 1을 넘으면 AlphaEvolve를 이겼다는 뜻이다.

결과표에서 21문제 평균은 Qwen3 8B에서 0.804, 14B에서 0.837, 32B-FP8에서 0.869다. 같은 표의 비교군 OpenEvolve·ShinkaEvolve·CodeEvolve는 8B에서 0.693·0.642·0.700에 머문다. 주목할 것은 SwarmEvolve의 8B 평균이 세 비교군의 32B-FP8 평균(0.774·0.733·0.731)을 모두 앞선다는 점이다. 작은 모델 수백 개를 굴리는 쪽이 큰 모델 하나를 오래 굴리는 쪽을 이긴 사례다.

더 눈에 띄는 것은 AlphaEvolve와의 직접 비교다. 8B 모델만으로 SwarmEvolve는 세 문제에서 AlphaEvolve의 발표 구성을 개선했다. 단위 정사각형에 원 26개를 채우는 문제에서 알려진 최선의 반지름 합 2.635983에 도달했고, 2·3차 자기상관 부등식의 상한을 개선하는 계단 함수를 찾았다. 같은 조건에서 비교군들은 각각 한 문제씩만 넘었다. AlphaEvolve가 프런티어 Gemini 모델을 쓴 것과 대비되는 대목이다.

그럼 무엇이 빨랐던 것인가

여기서 가장 자연스러운 반론은 '잠재 공간에서 생각한다는 것이 정말 더 나은 사고인가, 아니면 그냥 더 많이 시도한 것인가'다. 논문 스스로 이 반론을 정면으로 다룬다. 저자들은 40단계 잠재 추론을 최대 40토큰, 그리고 256토큰의 텍스트 추론으로 바꿔 같은 실험을 돌렸다.

60분 뒤 평균 점수는 잠재 0.804, 40토큰 0.796, 256토큰 0.767이었다. 차이는 크지 않아 보이지만, 시간 회계가 다르다. 256토큰 텍스트 추론에서는 한 라운드의 에이전트들이 글을 쓰는 데만 약 32초가 걸린 반면, 40단계 잠재 추론은 약 4초였다. 60분 동안 평가한 프로그램 수는 734개 대 402개. 즉 잠재 추론의 우위는 '더 깊은 사고'라기보다 같은 시간에 더 많은 프로그램을 평가하는 처리량에서 온다.

입자 군집 최적화(PSO)가 요철 지형을 탐색하는 모습. 무리가 국소 봉우리를 넘어 더 높은 해를 찾는 그림은 진화 검색의 전형적인 풍경이다 — Hennegrolsch, CC BY-SA 4.0 (Wikimedia Commons)

재미있는 것은 40토큰 텍스트가 256토큰 텍스트보다 오히려 점수가 높다는 점이다. 저자들은 긴 추론 메시지가 요약 에이전트의 문맥 창을 압도했을 가능성을 제시한다. 짧게 말하는 무리가 길게 말하는 무리보다 나았다는 뜻이고, 이는 '생각을 길게 늘어놓는 것이 곧 좋은 사고는 아니다'라는 오래된 관찰을 새 하드웨어 조건에서 다시 확인한 셈이다.

이기지 못한 문제들

논문의 표를 평균만 보고 넘기면 안 된다. 8B 조건에서 SwarmEvolve는 키싱 수(11차원) 문제에서 0.309를 기록했는데, 비교군들은 0.481과 0.508이었다. 비정규 행렬 고윳값 문제에서도 0.700으로 0.723짜리 비교군에 밀렸고, 직사각형 원 패킹에서는 0.888로 OpenEvolve의 0.969에 크게 뒤졌다. 14B 조건에서도 키싱 수는 0.570으로 ShinkaEvolve의 0.617보다 낮다.

이 실패들의 공통점은 이산적이거나 조합적인 구조, 혹은 아주 좁은 최적점 근처에서의 정밀한 조정이 필요하다는 것이다. 450개의 다양한 시도가 넓은 지형을 훑는 데는 강하지만, 파고들어야 하는 좁은 골짜기에서는 무리의 다양성이 오히려 소음이 될 수 있다. 평균 0.804라는 숫자 뒤에 0.309라는 값이 같이 놓여 있다는 사실은, 이 방법이 아직 만능 대체재가 아니라는 신호로 읽힌다.

논문이 인정한 세 가지 한계

저자들은 한계를 분명히 적는다. 첫째, 모든 잠재 에이전트와 요약 에이전트가 같은 LLM을 공유해야 한다. 요약 에이전트가 다른 모델의 KV 캐시를 직접 읽을 수 없기 때문이다. 모델 간 KV 캐시 번역을 학습시키는 후속 연구가 있다면 확장될 수 있다고 논문은 전망하지만, 현재 구현은 단일 모델 전제다.

둘째, 표준 어텐션을 쓰는 모델만 지원한다. 선형 어텐션·상태공간 모델·하이브리드 모델은 과거를 고정 크기 상태로 압축하므로, 여러 에이전트의 상태를 합치는 별도의 방법이 필요하다. 셋째, KV 캐시 메모리가 에이전트 수·잠재 단계 수·층 수에 대해 선형으로 늘어난다. 논문이 시험한 가장 큰 모델은 큰 GPU를 요구했고, 저자들은 압축된 잠재 메시지나 여러 GPU에 라운드를 분산하는 방식을 대안으로 제시한다.

여기에 독자가 덧붙일 반론도 있다. 21개 문제 중 16개가 AlphaEvolve 계열 벤치마크이고, 초기 프로그램과 평가기를 OpenEvolve에서 그대로 가져왔다. 즉 '같은 문제, 같은 출발점'이라는 공정성은 확보했지만, 이 계열에 특화된 튜닝이 결과에 얼마나 기여했는지는 분리되지 않는다. 또한 점수가 'AlphaEvolve 발표값 대비 비율'이므로 1을 넘는 것이 곧 새로운 수학적 사실은 아니다. 더 나은 상수와 더 나은 구성일 뿐이다.

독자에게 던지는 질문

이 논문이 흥미로운 지점은 성능표가 아니라 설계 철학이다. 지난 3년의 추세는 '더 똑똑한 모델 하나'를 향했다. 이 논문은 반대로 '싼 모델 수백 개와 그들 사이의 값싼 대화'를 택했고, 적어도 이 21개 문제에서는 그쪽이 이겼다. 사고의 질을 올리는 대신 사고의 대역폭과 회전율을 올린 것이다.

그렇다면 질문은 이렇게 남는다. 우리가 '생각한다'고 부르는 것 중 얼마나 많은 부분이, 실은 텍스트로 옮겨 적는 비용 때문에 존재하는 것일까. 그리고 그 비용이 사라진다면, 우리는 무엇을 더 많이 시도할 수 있게 될까. 여러분이 이 방식으로 풀리고 싶은 문제가 있다면 무엇인가.

참고 자료

Qile Jiang, George Em Karniadakis, 「SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization」, arXiv:2611.08483 (2026-11-05). https://arxiv.org/abs/2611.08483

비교 대상 프레임워크: OpenEvolve, ShinkaEvolve, CodeEvolve. 원 AlphaEvolve 결과는 arXiv 부록 B의 16개 문제와 그 발표 구성값을 기준으로 인용되었다.

이미지 출처: Wikimedia Commons — 찌르레기 군무(Walter Baxter, CC BY-SA 2.0), 입자 군집 최적화 시각화(Hennegrolsch, CC BY-SA 4.0).