멀티에이전트는 언제 이득이고 언제 손해인가 — 260가지 구성을 통제해서 돌려본 논문

먼저: 이 논문이 실제로 무엇을 했나

THE SETUP — WHAT WAS HELD FIXED

「Towards a Science of Scaling Agent Systems」는 구글 리서치·구글 딥마인드·MIT 연구진 20인의 논문이다. ✔ 원문 논문이 스스로 밝힌 문제의식은 기존 멀티에이전트 평가의 결함이다 — 지금까지의 비교들은 프롬프트도 도구도 연산 예산도 서로 다른 상태에서 아키텍처를 비교했고, 그래서 "구조가 좋았던 것"과 "구현이 좋았던 것"을 구분할 수 없었다는 것이다. ✔ 원문

그래서 이 논문의 실험 설계는 고정한 것이 핵심이다. 과제 프롬프트, 사용 가능한 도구, 총 연산 예산을 모든 조건에서 동일하게 맞추고, 조정 구조와 모델 역량만 바꿨다. 멀티에이전트 쪽에는 에이전트당 반복 횟수를 줄여 총량을 맞췄고, 단일 에이전트 쪽에는 병렬 심의가 없는 대신 추론 라운드를 더 줬다. ✔ 원문

이 통제가 왜 중요한지는 실무 감각으로 바로 온다. 서브에이전트를 붙였더니 좋아졌다는 경험 대부분은 토큰을 더 썼기 때문일 수 있다. 예산을 맞추지 않으면 "구조가 이겼다"고 말할 수 없다. 이 논문은 그 혼선을 제거한 상태에서 측정한다.

가장 이해하기 쉬운 발견 — 트레이스 두 개를 나란히 놓으면 보인다

THE CORE FINDING, IN TRACES

이 논문 전체에서 가장 직관적인 대목은 회귀식이 아니라 실행 트레이스 두 개를 나란히 놓은 부분이다. 같은 멀티에이전트 구조가 왜 어떤 과제에선 이기고 어떤 과제에선 참사가 되는지가 여기서 눈으로 보인다.

먼저 참사 쪽. PlanCraft(마인크래프트식 제작 플래닝)에서 단일 에이전트가 '섬록암 벽'을 만드는 경로는 이렇다 ✔ 원문 — 1턴 레시피 검색, 2턴 재료를 제작대로 이동, 3턴 제작 완료. 끝이다.

같은 과제를 중앙집중 멀티에이전트에 주면 이렇게 쪼개진다. 에이전트 1이 레시피를 조사하고(조회는 즉시 끝나므로 불필요), 에이전트 2가 인벤토리를 확인하고(상태는 모두에게 이미 보이므로 불필요), 에이전트 3이 제작을 실행한다 — 세 단계 중 실제로 필요한 것은 마지막 하나뿐이다. ✔ 원문 논문의 표현대로 하면, 몇 단계면 끝나는 일에 조정 메시지를 잔뜩 만들어 추론이 아니라 조정에 토큰 예산을 쓴다. 결과는 PlanCraft 전 구조 하락이다 — 중앙집중 −50.3%, 분산 −41.5%, 하이브리드 −39.1%, 독립 −70.0%. ✔ 원문

이제 이기는 쪽. Finance-Agent에서 단일 에이전트는 이렇게 움직인다 — 1턴 뉴스 검색, 2턴 공시 검색, 3~7턴 순차 탐색. 논문은 이 경로를 순차 병목이라고 부른다. 넓게 못 보고 한 줄로 파고든다는 뜻이다. ✔ 원문

중앙집중으로 바꾸면 규제·뉴스 분석, 공시 조사, 실적 영향 평가를 세 에이전트가 동시에 맡고 지휘자가 합친다. 이건 억지 분해가 아니라 과제 자체가 원래 그렇게 갈라져 있는 경우다 — 매출·비용·시장 요인은 서로 독립적으로 조사할 수 있다. 결과가 +80.8%(0.631 vs 단일 0.349)다. ✔ 원문

논문이 이 대비에서 끌어내는 규칙은 한 줄이다 — 조정 복잡도가 과제 복잡도를 넘어서는 순간 조정은 역효과가 된다. ✔ 원문 실무 언어로 옮기면: 혼자 순서대로 하면 되는 일에 팀을 붙이면 진다.

논문이 가장 앞세우는 발견 — "이미 45%를 넘겼으면 더 붙이지 마라"

CAPABILITY SATURATION

논문은 260개 구성의 성공률을 회귀 모형으로 설명한다. 모델 역량·도구 수·에이전트 수·조정 오버헤드 같은 요인들이 성공률을 각각 얼마나 밀고 당기는지 숫자로 뽑아 놓은 것이다. 그 모형에서 논문이 가장 앞세우는 항이 역량 포화다 — 논문은 초록에서 capability saturation, 본문에서 capability ceiling(역량 천장)이라는 두 이름을 쓴다. 이 글에서는 혼동을 막기 위해 계수 이름을 따 「기준선×에이전트수 항」으로 통일해 부른다. ✔ 원문

내용은 이렇다. 단일 에이전트만으로 이미 45% 정확도를 넘는 과제에서는, 에이전트를 추가할수록 성능이 깎인다. 조정 비용이 남은 개선 여지보다 커지기 때문이다. 계수는 β=−0.236, 보정 전 p=0.004. ✔ 원문

45%라는 숫자는 어림짐작이 아니라 두 계수가 산술적으로 맞비기는 지점이다. 에이전트 수 항의 계수(+0.040 — 이 항 자체는 유의하지 않다. 다음 절에서 다룬다)와, 기준선이 높을수록 그 값을 깎는 항(−0.236 × 기준선)이 서로 상쇄되는 기준선을 구하면 0.040 ÷ 0.236 = 0.17이다. 이 0.17은 계산 편의를 위해 모든 요인을 평균 0·폭 1로 눌러 둔 눈금(표준화) 위의 값이라, 실제 정확도 눈금으로 되돌리면 약 0.45가 된다. 이보다 낮으면 추가가 이득, 높으면 손해로 부호가 뒤집힌다. ✔ 원문

회귀 밖에서 따로 확인한 근거도 있다. SWE-bench Verified와 Terminal-Bench의 16개 모델×벤치마크 조합에서 적중률 94%로 이 임계점의 예측이 맞았고, 논문은 이를 이항검정 p<0.001이라고 적는다. ✔ 원문 여기부터는 편집자 계산이다 — 94%를 16으로 되돌리면 15개이고, 이항검정은 "동전 던지기처럼 절반 확률로 맞힌다"고 놓고 우연일 가능성을 재는 방식인데 원문은 그 비교 기준 확률을 밝히지 않았다. 앞 표에서 SWE-bench가 전 구조 하락이었던 이유가 이것이다 — 대부분 모델의 단일 기준선이 이미 45%를 넘는다.

그런데 그 계수는 논문 자신의 강건성 검사를 통과하지 못했다

WHERE THE PAPER CONTRADICTS ITS OWN TABLES

논문은 자기 결과에 강건성 보정 두 가지를 걸었다. 회귀에서 나온 p값을 액면 그대로 믿기 어려운 이유가 두 가지 있는데, 그것을 각각 잡는 절차다. ✔ 원문

하나는 클러스터-로버스트 보정이다. 260개 구성은 사실 벤치마크 6개에서 나왔고, 같은 벤치마크 안의 구성들은 서로 닮아 있다. 이를 무시하면 서로 독립인 데이터가 실제보다 많은 것처럼 착시가 생긴다. 이 보정을 걸자 계수들의 오차 범위가 최대 2.9배까지 넓어졌다.

다른 하나는 Holm–Bonferroni 보정이다. 계수 19개를 한꺼번에 검정하면 그중 몇 개는 우연히 유의해 보이기 마련이라, 유의 문턱 자체를 높이는 절차다.

논문 결론부는 역량 포화를 "두 보정 모두에서 확인된 가장 튼튼한 결과"라고 쓰면서 p=0.004와 p_Holm=0.018을 근거로 든다. ✔ 원문 그런데 부록의 강건성 표를 열면 그 두 숫자는 다른 계수의 것이다.

※ 논문 부록 Table 14(클러스터-로버스트)·Table 15(Holm) 값을 그대로 옮겼다. "통과/탈락"은 논문이 쓴 Survives / Inflated 표기와 유의 문턱 0.05를 우리말로 옮긴 것이다. 맨 오른쪽 열은 Table 14 전용 표기이며 Holm 표에는 해당 열이 없다. Holm 열의 "—"는 논문이 그 계수의 Holm 보정값을 보고하지 않았다는 뜻이다. ✔ 원문

45% 규칙을 만드는 항, 즉 기준선×에이전트수 항은 두 보정에서 모두 탈락했다. 결론부가 인용한 p=0.004·p_Holm=0.018은 이름이 비슷한 기준선 주효과(β=+0.250)의 값이다. 45% 규칙 항의 보정 전 p도 0.004라 헷갈리기 쉬운데, 결론부가 쓴 0.004는 "클러스터-로버스트 기준"이라고 스스로 한정한 값이다 — 그 기준에서 45% 규칙 항은 0.105다. 부호부터 반대이고, 논문이 이 항에 붙인 설명도 "과제 난이도 대리 지표"다 — 쉬운 과제일수록 성적이 높다는, 45% 규칙과는 다른 이야기다. ✖ 불일치

논문 본문도 이 사실을 알고 있다. 강건성 절은 기준선×에이전트수 항을 "확정된 효과가 아니라 방향성 패턴"으로, Holm 결과에 대해서는 "시사적(suggestive)"이라고 적는다. ✔ 원문 즉 본문은 유보하는데 결론은 단정한다. ①의 연장선으로, 같은 절 안에서 클러스터-로버스트 생존 항목을 "두 개"(기준선 주효과 p=0.004·오류증폭×기준선 p=0.030)라고 썼다가 열 줄 뒤 "단일 기준선 하나뿐"이라고 쓰는 대목도 있다. 논문에 우호적으로 읽으면 뒤 문장을 "Holm까지 함께 통과한 것은 하나뿐"이라는 뜻으로 볼 여지가 있지만, 그 문장 자신이 "클러스터-로버스트만 놓고 볼 때"라고 범위를 한정하고 있어 그 읽기로도 앞 문장과 어긋난다. ✖ 불일치

그래서 45% 규칙을 어떻게 다뤄야 하나. 여기부터 이 문단 끝까지는 편집자의 판단이며 논문의 진술이 아니다. 버릴 필요는 없다고 본다 — 회귀 밖의 94% 적중률은 별도 근거이고, 방향도 앞 절의 벤치마크 결과와 일치한다. 다만 "통계적으로 확정된 법칙"으로 인용하는 것은 원문을 넘어선다. 안전선은 이 정도라고 본다 — "논문이 방향성 패턴으로 분류한 규칙이며, 별도 검증에서 16개 중 15개가 맞았다."

반대로, 에이전트 개수로는 성능을 예측할 수 없었다

AGENT COUNT AS A PREDICTOR

같은 회귀표에서 에이전트 수 항은 β=0.040, p=0.487이다. 95% 신뢰구간이 [−0.074, 0.155]로 0을 가로지른다 — 참값이 플러스일 수도 마이너스일 수도 있다는 뜻이라, 크기는커녕 방향조차 말할 수 없는 상태다. ✔ 원문 이 데이터에서 "몇 명을 붙였는가"는 성공률을 유의하게 설명하지 못한다.

이게 이 논문의 진짜 반전이다. 초록이 쓴 문장은 "아키텍처와 과제의 정합이 협업의 성패를 결정한다"이고, "팀 크기가 아니라"라는 대비는 초록이 아니라 서론과 결론의 표현이다 — 인용할 때 이 둘을 붙여 쓰지 않는 편이 정확하다. ✔ 원문 그리고 앞 절의 45% 규칙이 왜 상호작용 항인지도 여기서 설명된다 — 에이전트 수는 단독으로는 의미가 없고, 단일 기준선이 낮을 때만 도움이 된다.

에이전트 수를 1·3·5·7·9 다섯 지점에서 재 본 별도 실험(Figure 5)도 같은 방향이다. Gemini-2.0 Flash는 7개에서 뚜렷한 최적점을 찍고 그 뒤 하락했고, Gemini-2.5 Pro의 분산 구조는 단일 기준선이 더 높은데도 더 일찍 정점을 지났다. 논문의 결론은 "최적 에이전트 수는 모델 용량과 조정 전략에 따라 다르다"이다. ✔ 원문 즉 보편 정답 개수는 이 논문에 없다.

확실히 늘어나는 것은 성능이 아니라 턴 수다

SUPER-LINEAR COORDINATION COST

성능은 안 늘어도 비용은 늘어난다. 그것도 초선형으로. 논문이 턴 수를 에이전트 수에 대해 적합한 멱법칙은 다음과 같다. ✔ 원문

T = 2.72 × (n + 0.5)^1.724   R²=0.974, 지수 95% 신뢰구간 [1.685, 1.763]

※ T는 과제 완료까지 걸린 평균 턴 수, n은 에이전트 수다. 지수 안의 +0.5는 논문이 적합에 쓴 보정 상수이며, 원문은 이 값의 근거를 따로 설명하지 않는다. R²=0.974는 이 곡선이 실제 턴 수를 거의 그대로 따라간다는 뜻이고, 지수의 95% 신뢰구간 [1.685, 1.763]은 참값이 놓일 추정 폭이다 — 아래쪽 끝도 1을 한참 웃돈다. ✔ 원문

지수가 1보다 크다는 것이 핵심이다. 1.724면 (n+0.5)가 2배가 될 때 턴은 약 3.3배가 된다(2^1.724 — 편집자 계산). 이를 외삽하면 6명에서 약 69턴, 10명에서 약 157턴이 되고, 단일 에이전트의 7.2턴 대비 9.5~21.8배다. ✔ 원문 논문은 이 지수를 신경망 파라미터 스케일링(Kaplan 등이 보고한 지수 0.76)과 대비하며, 에이전트 스케일링은 근본적으로 다른 영역이라고 쓴다 — 한쪽 지수는 1보다 작고 이쪽은 1보다 크다. ✔ 원문

다만 논문 스스로 붙인 단서가 있다. 이 곡선은 구조별 평균을 하나로 뭉쳐 적합한 것이라 같은 에이전트 수에서도 구조 간 편차가 크다 — n=3일 때 독립은 평균 11.4턴, 분산은 26.1턴이다. ✔ 원문 6명·10명 값도 측정치가 아니라 논문이 "더 큰 팀으로의 외삽"이라고 스스로 명시한 추정치다(회귀에 실제로 들어간 에이전트 수 범위는 1~4다). ✔ 원문

이 절에서 자주 잘못 옮겨지는 문장이 하나 있다. 원문은 "고정 예산 하에서는 3~4개를 넘어가면 에이전트당 추론 용량이 감당 불가하게 얇아진다"고 쓴다. ✔ 원문 이건 권장 개수가 아니라 자원 상한 경고다. 예산이 고정돼 있으면 사람이 늘수록 1인분이 얇아진다는, 지극히 산술적인 이야기다.

아래 표가 이 절의 요약이다. 성공률은 거의 평평한데, 턴 수는 독립이 1.6배, 조정 메시지가 오가는 나머지 세 구조가 3.6~6.2배로 벌어진다.

표를 읽기 전에 두 지표만 정의한다. 조정 오버헤드(O%)는 단일 대비 턴이 얼마나 더 들었나를 백분율로 쓴 값이고(하이브리드 515% = 단일의 6.15배), 조정 효율(E_c)은 성공률을 그 턴 배수로 나눈 값이다. ✔ 원문 이 논문의 측정값에서는 단일이 항상 최고였으므로, E_c 열은 "구조가 나쁘다"가 아니라 "같은 성적을 몇 배 비용으로 냈나"로 읽어야 한다.

※ 260개 구성 전체 기준, 시행당 평균 추론 토큰 4,800개 조건에서의 측정값이다 — 4,800은 고정 상한이 아니라 평균값이다(설계상 통제된 것은 "총 토큰을 서로 맞췄다"는 사실 쪽이다). 턴 배수는 하이브리드 6.2배 · 중앙집중 3.8배 · 분산 3.6배 · 독립 1.6배이며, 하이브리드와 단일의 턴 차이는 우연으로 보기 어렵다(p<0.001). E_c 검산은 독립 0.370÷1.58=0.234, 하이브리드 0.452÷6.15=0.074 — 정의식은 원문 표기이고 이 나눗셈은 편집자가 계산했다. ✔ 원문

표를 한 문장으로 줄이면 이렇다 — 가장 성공률이 높은 분산 구조(0.477)와 단일 구조(0.466)의 차이는 1.1%포인트인데, 그 1.1%포인트를 위해 턴은 3.6배를 쓴다. 독립 구조(0.370)만 뚜렷하게 나쁘고, 나머지 넷은 성능상 사실상 한 덩어리다. 덧붙여 이 표의 단일 0.466은 6개 벤치마크 전체 평균이다 — 앞 절의 45% 규칙은 평균이 아니라 과제별 단일 기준선에 걸리는 규칙이므로, 이 평균이 45%를 넘는다는 사실과는 층이 다르다.

조심해서 읽어야 하는 숫자 — 오류 증폭 17.2배

A NUMBER THAT NEEDS ITS FOOTNOTE

이 논문에서 가장 눈에 띄는 수치가 "독립 구조는 오류를 17.2배 증폭하고, 중앙집중은 4.4배로 억제한다"이다. 이 값 자체는 원문에 그대로 있다 — 독립 17.2배(95% 신뢰구간 [14.3, 20.1]), 중앙집중 4.4배([3.8, 5.0]). ✔ 원문

문제는 그다음이다. 논문 자신이 이 숫자를 성능의 원인으로 쓰지 말라고 적어 뒀다. 다른 조정 지표를 통제한 뒤 회귀에 넣으면, 오류 증폭의 주효과는 β=0.014, p=0.658로 유의하지 않다. 도구 수와의 상호작용도 p=0.332로 유의하지 않다. ✔ 원문 논문의 해석은 이렇다 — 구조 간 성능 차이는 오류 전파 자체보다 효율(E_c)과 오버헤드(O%)로 더 잘 설명된다. 독립 구조가 못한 것도 "오류가 퍼져서"라기보다 효율 지표(0.234 vs 단일 0.466)에 이미 흡수되는 효과라는 것이다. ✔ 원문

정리하면 17.2배와 4.4배는 측정된 서술 통계이지 검증된 인과 기제가 아니다. 논문 결론부도 이 항목을 "방향성 패턴(directional pattern)"으로 분류한다. ✔ 원문

다만 완전히 무의미한 것도 아니다. 오류 증폭과 단일 기준선의 상호작용 항(β=−0.080, p=0.022)은 클러스터-로버스트 보정에서도 유의성을 유지한다(p=0.030). ✔ 원문 그리고 오류를 유형별로 쪼갠 분석은 검문소의 효과를 꽤 구체적으로 보여 준다.

읽는 법은 이렇다. 지휘자를 두면 맥락 누락이 8.3%까지, 논리 모순이 9.1%까지 내려간다. 기준선 범위(각각 15.8~25.2%, 12.3~18.7%)와 견주면 눈에 띄는 감소이고, 검문소가 실제로 일한다는 증거다. 반대로 하이브리드는 멀티에이전트에만 존재하는 오류 유형인 조정 실패를 12.4%까지 만들어 낸다 — 논문 표현으로 "프로토콜 복잡도가 견고한 구현 수준을 넘어선" 경우다. ✔ 원문 구조를 정교하게 만들수록 그 구조 자체가 새 실패 모드를 낳는다.

※ 논문은 이 감소를 각각 66.8%·36.4% 감소로 적는다. ✔ 원문 여기부터는 편집자 판단이다 — 두 백분율은 기준선 범위 중 서로 다른 값을 기준으로 계산돼 있어 나란히 비교하면 오해가 생긴다. 절대값(8.3% · 9.1%)으로 읽는 편이 안전하다.

나머지 실무 신호 네 가지

FOUR MORE THINGS WORTH TAKING

① 도구가 많을수록 조정세가 커진다. 효율×도구수 상호작용이 β=−0.096, 보정 전 p=0.002다. Holm 보정은 통과했지만(p=0.026) 클러스터-로버스트 보정에서는 탈락한다(p=0.205). 논문 자신도 이 대목을 확정 효과가 아니라 "일관된 방향성 패턴"이라 부르고, 초록의 표현도 단정이 아니라 "도구가 많은 과제는 멀티에이전트 오버헤드를 겪는 것으로 보인다"이다. ✔ 원문

내용 자체는 이렇다 — 도구가 4개 이하인 단순 과제에서는 효율 효과가 무시할 수준(성공률 변화 폭이 ±0.05 미만)이지만, 16개짜리 업무 워크플로에서는 조정 비효율이 증폭된다. 기제도 명시돼 있다 — 에이전트를 나누면 에이전트당 토큰 예산이 쪼개져 복잡한 도구 조율에 쓸 용량이 남지 않는다. ✔ 원문

참고로 "도구가 많은 환경이 주된 실패 모드"라는 강한 문장은 결론부가 아니라 한계 절 (iii)에 나온다 — 인용 위치를 바꿔 옮기면 논문보다 센 주장이 된다. ✔ 원문

② 좋은 모델은 지휘자보다 일꾼에 넣는 게 낫다. 역량이 섞인 팀을 실험한 결과, 고역량 서브에이전트를 쓴 구성이 고역량 오케스트레이터를 쓴 구성보다 세 계열 모두에서 앞섰다. ✔ 원문 예산이 빠듯하면 지휘자보다 일꾼 쪽에 좋은 모델을 넣으라는 뜻이고, 계열마다 편차가 있으므로 본인 스택에서 직접 재 봐야 하는 항목이다.

다만 여기서 자주 인용되는 "Anthropic 계열 +31%"는 그대로 옮기면 안 된다. Figure 4 캡션은 저역량 지휘자 + 고역량 하위 조합(0.42)이 동종 고역량 구성(0.32)보다 31% 앞섰다고 적는다. 그런데 같은 논문 부록 Table 12는 같은 조합을 0.42로 적으면서 동종 강모델 대비 −0.01이라고 쓴다 — 그 표의 동종 기준선은 0.32가 아니라 0.43이라는 뜻이다. 표 캡션은 한술 더 떠 "중앙집중 이종 구성은 강모델 동종 기준선에 일률적으로 미달한다"고 적고, 한계 절도 평균 −12.6%포인트라고 적는다. 게다가 같은 캡션 안에서도 어긋난다 — 바로 다음 항목은 Anthropic 동종 고역량 기준선을 0.37로 적는다. 한 캡션에 0.32와 0.37, 부록에 0.43 — 같은 대상의 기준선이 세 값으로 갈린다. ✖ 불일치 그래서 이 글은 +31%를 단독 인용하지 않는다 — 남는 것은 숫자가 아니라 앞 문단의 순서(지휘자보다 하위에 좋은 모델)다.

③ 조정 오버헤드에는 최적 구간이 있다. 논문은 세 구간으로 나눈다 — 100% 미만은 조정 부족(성능 이득 +2~4%에 그침), 200~300%가 최적 구간(구간 평균 효율 E_c≈0.16으로 가장 높고, 중앙집중·분산이 여기 위치), 400% 초과는 과잉 조정(E_c≈0.11로 하락, 하이브리드가 여기). ✔ 원문 중복률(에이전트들이 내놓은 출력 임베딩의 코사인 유사도 평균 — 얼마나 비슷한 답을 내놨나를 0~1로 잰 값이다)도 비슷하다 — 중복이 0.50을 넘으면 성공률과 반대로 움직이고(상관계수 r=−0.136, p=0.004 — r은 두 값이 같이 움직이는 정도를 −1~1로 나타낸 것이며, 앞의 R²와는 다른 지표다), 최적점은 0.41 근처다(원문은 이 값에 "중앙집중의 중앙값"이라는 단서를 단다). 겹치는 일이 아예 없으면 서로 못 잡아 주고, 너무 겹치면 같은 말만 반복한다. ✔ 원문

※ 여기 나오는 0.16·0.11은 오버헤드 구간별로 묶어 낸 평균이라, 앞 표의 구조별 E_c(중앙집중 0.120 · 하이브리드 0.074)와 같은 눈금이 아니다. 두 숫자를 직접 비교하면 안 된다.

④ 모델 역량은 선형으로만 듣는다. Intelligence Index 항은 β=0.126, 보정 전 p=0.008로 유의하지만 제곱항(역량이 오를수록 효과가 가팔라지는지 보는 항)은 p=0.977로 있다고 말할 근거가 전혀 없다. 단 이 역량 항도 클러스터-로버스트 0.059 · Holm 0.056으로 두 보정 모두 탈락해, 확정된 효과가 아니라 방향성 패턴이다. ✔ 원문 테스트 범위 안에서 모델을 올린다고 갑자기 도약이 생기지는 않는다는 뜻이다. 여기서 Intelligence Index는 논문이 채택한 모델 종합 역량 점수이고, 이 실험의 9모델은 42~71 구간에 분포한다(출처는 Artificial Analysis Intelligence Index, 8개 평가 스위트 합성 점수다. 공개값이 없는 모델은 논문이 v3.0 동일가중 산식으로 재구성했고, 그중 완전 재현이 불가능했던 근사치에만 *를 붙였다 — 부록 A).

덧붙여 논문은 이 정적 지표 대신, 각 모델의 단일 에이전트 실제 성적 평균으로 만든 ACI(Agentic Capability Index) 지표를 권한다 — 둘의 상관은 r=0.45로 중간 수준에 그치는데, ACI로 바꾸면 설명력이 0.373 → 0.413으로 오르고 기존 결론이 뒤집히는 것은 하나도 없었다. ✔ 원문 벤치마크 점수보다 "내 과제에서의 단일 성적"이 더 나은 예측자라는 이야기이고, 이건 실무 감각과도 맞는다.

논문이 스스로 그은 한계선

WHAT THE AUTHORS SAY IT DOESN'T SHOW

이 논문의 미덕 중 하나는 한계 절이 길다는 점이다. 인용하기 전에 알아야 할 것들만 추린다 — 아래 네 항목은 모두 논문 한계 절의 진술이다. ✔ 원문

① 에이전트 9개까지만 봤다. 그 이상 규모에서 자발적 전문화 같은 창발이 생길지, 통신 병목이 지배할지는 열린 질문이라고 명시한다.

② 프롬프트를 모델별로 최적화하지 않았다. 조건을 같게 하려고 일부러 통일한 것이므로, 구조별 프롬프트 튜닝을 하면 다른 결과가 나올 수 있다고 스스로 적는다.

③ SWE-bench와 Terminal-Bench는 20문항 부분집합이라, 셀(모델×구조 한 칸)당 부트스트랩 신뢰구간 — 가진 데이터를 여러 번 다시 뽑아 오차 범위를 추정하는 방법 — 이 ±20%포인트 수준이고, 개별 쌍 비교는 차이를 잡아낼 만큼 표본이 크지 않다고 인정한다.

④ 회귀의 클러스터가 6개뿐이라 클러스터-로버스트 보정에서 오차 범위가 보수적으로(넓게) 잡히고, 그래서 데이터셋 수준 변수들은 "확정된 효과"가 아니라 "방향성 패턴"으로 보고한다고 밝힌다.

모델을 섞으면 45% 벽을 우회할 수 있는지도 미리 확인해 봤는데, 안 된다는 쪽이었다. 이종 모델 13개 구성을 BrowseComp-Plus에서 돌린 결과 중앙집중 이종 구성은 강한 모델 동종 구성보다 평균 12.6%포인트 낮았고, 분산은 +2.0%포인트 이득이었으나 그마저 구성원 중 강한 모델 덕으로 설명됐다. ✔ 원문

실무 유의점

CAVEATS FOR PRACTITIONERS

검증 노트

LAB LOG — 돌려본 것만 "검증됨"이라 부른다

그래서 무엇을 가져갈까

TAKEAWAYS

이 논문을 다 읽고 남는 것은 새 기법이 아니라 순서다. 단일로 먼저 재고, 과제가 병렬로 갈라지는지 보고, 갈라진다면 구조를 붙이되 도구가 많을수록 단순하게 간다. 개수는 마지막에 정하고, 그마저도 이 논문은 정답을 주지 않는다.

그리고 이 논문이 준 가장 실용적인 도구는 사실 ACI라는 발상이다. 모델 벤치마크 점수 대신 내 과제에서의 단일 에이전트 실제 성적을 역량 지표로 쓰면 예측이 더 잘 맞았다(R² 0.373 → 0.413). 45% 규칙도 결국 같은 이야기다 — 남의 벤치마크가 아니라 내 기준선을 재라.

마지막으로, 이 글의 모든 ✔는 2026-08-02 15:10 KST에 받은 v3 스냅샷 기준이다. 이 논문은 이미 두 번 개정됐고 또 바뀔 수 있다. 인용할 때 판본과 날짜를 함께 적는 것이, 이 기사가 팩트체크 ②에서 지적한 문제를 반복하지 않는 유일한 방법이다.

개정 이력

REVISION LOG — 소리 없는 정정 금지

v2 · 2026-08-02 — 기사의 축을 2차 소스 팩트체크에서 원문 해설로 옮겼다. v1은 유통 수치와 원문의 차이를 본문으로 삼았으나, 정작 논문이 무엇을 발견했는지는 뒤로 밀려 있었다. v2는 논문 해설을 본문으로 두고 팩트체크를 박스 하나로 압축했다. 제목도 「「그래프 엔지니어링」의 근거 논문을 열어봤다 — 그 논문 본문에 'graph'는 0회다」에서 지금 제목으로 바꿨다 — 축 이동에 맞춘 것이며, graph 0회 검증 자체는 팩트체크 ⑤로 유지된다.

v2에서 정정한 논지 1건. v1은 오류 증폭 17.2배 → 4.4배를 핵심 발견처럼 배치했다. 원문을 끝까지 읽은 결과 이는 회귀에서 유의하지 않은 서술 통계(β=0.014, p=0.658)이며, 논문 스스로 "구조 간 차이는 효율과 오버헤드로 더 잘 설명된다"고 적어 두었다. v2는 이 수치를 "각주가 필요한 숫자" 절로 옮기고, 논문이 실제로 가장 튼튼하다고 밝힌 45% 역량 포화를 중심에 놓았다. v1의 서술은 지우지 않고 이전 판 파일에 그대로 남긴다.

v2에서 새로 발견한 원문 내부 모순 2건 ①. 45% 규칙을 만드는 기준선×에이전트수 항(β=−0.236)이 논문 자신의 강건성 표(부록 Table 14·15)에서 두 보정 모두 탈락(0.105 · 0.084)했음을 확인했다. 논문 결론부가 이 발견의 근거로 든 p=0.004·p_Holm=0.018은 기준선 주효과(β=+0.250)의 값이다. v2는 이 사실을 독립 절로 세우고 ✖ 불일치로 등급했으며, 45% 규칙을 "가장 튼튼한 발견"이 아니라 "논문이 방향성 패턴으로 분류한 규칙 + 별도 94% 적중"으로 재배치했다.

내부 모순 ②. 이종 모델 실험에서 동종 강모델 기준선 값이 두 곳에서 어긋난다. Figure 4 캡션은 저역량 지휘자+고역량 하위 조합(0.42)이 동종 고역량 구성(0.32) 대비 31% 앞섰다고 적는데, 부록 Table 12는 같은 조합을 0.42로 두고 동종 대비 −0.01로 적어 기준선이 0.43임을 함의한다. 같은 표의 캡션은 중앙집중 이종 구성이 "일률적으로 미달한다"고 쓰고, 한계 절은 평균 −12.6%포인트라고 쓴다. v2는 이 대목을 ✖ 불일치로 등급하고 "+31%"를 단독 인용하지 않는다.

용어 변경 1건. v1이 쓴 능력 천장은 v2에서 「기준선×에이전트수 항」으로 바꿔 부른다. 논문이 같은 대상을 capability saturation(초록)과 capability ceiling(본문) 두 이름으로 부르는데, 이 기사의 핵심 논점이 이 항과 기준선 주효과를 혼동하면 안 된다는 것이기 때문이다. 이후 문서부터 이 표기를 적용한다.

배치 이동 1건. v1이 팩트체크 항목으로 두었던 "고정 예산 4,800토큰은 고정이 아니라 시행당 평균"은 v2에서 표 5 각주로 옮겼다. 삭제가 아니라 위치 이동이며, 내용은 그대로다.

삭제 1건. v1에 있던 용어 카드 「오류 증폭(error amplification)」을 v2에서 뺐다 — 이 수치를 인과로 쓰지 않기로 하면서 카드 대신 본문 「조심해서 읽어야 하는 숫자」 절로 흡수했다. 삭제한 내용은 v1 파일에 그대로 남아 있다.

용어 카드 교체 1건·신설 1건. v1의 「오케스트레이터-워커」 카드는 v2에서 「아키텍처 5종」으로 넓혔고, 통계 기호를 푸는 「β·p·R² 읽는 법」 카드를 새로 뒀다.

등급 변경 2건. "Head of Claude Code 85%" 인용문은 v1에서 ✖ 불일치였으나, v2는 판단을 "이 논문 근거로는 확인 불가"로 좁혔다 — 유통 사실 자체에는 △ 보도를 두고, 본 논문 대조 결과는 미발견으로 적는다. 못 찾은 것과 존재하지 않는 것은 다르다는 원칙을 v1에 소급 적용한 것이다. 같은 이유로 β=−0.408 항목도 v2에서 등급 판정을 보류로 바꿨다.

v1이 확인했던 수치 대조 결과(180→260, R² 0.513→0.373, "3~4개" 의미 역전, 67/21/14 체리피킹, graph 0회)는 변경 없이 유지된다. 재검증에서 달라진 값은 없었다.

v1 · 2026-08-02 — 최초 발행. 제목 「「그래프 엔지니어링」의 근거 논문을 열어봤다 — 그 논문 본문에 'graph'는 0회다」. 파일 loopnote-scaling-agent-systems.html.