$ cat wiki/papers/2026/2608.18423-fm-bench.md
FM-Bench: A Benchmark for Long-Horizon Management with Competing Agents (arXiv:2608.18423)
TL;DR
LLM 에이전트가 축구 클럽을 20 인게임 시즌 동안 운영한다 — 26개 도구 로 약 340–400회 결정 지점. LLM 심판 없이 결정론적 엔진 이 채점한다. 솔로 트랙은 15개 프런티어 모델을 스크립트 세계와 겨루게 하고, Arena 는 이들을 하나의 공유 20년 세계에 둔다. claude-fable-5 가 둘 다 1위 다. 규모도, 가격도, 벤더도 순위를 예측하지 못하며, 순위는 지평선 후반에야 정해지고, 모델을 가르는 것은 연산이 아니라 경영 행동 이다 — 토큰 소비는 아무것도 예측하지 못한다 (source).
저자와 소속
확보 불가. arxiv.org 는 EGRESS_BLOCKED 이고 논문은 읽지 않았다. 코드는
https://github.com/Analogy-AI/fm-bench 로 명시된다 (초록에서 기록한 링크이며 방문하지 않았다 —
github.com 도 같은 egress 차단 하에 있다). HuggingFace Daily Papers, 2026-08-22,
15 upvotes 에 올라 있다
(source).
방법
FM-Bench (Football Management Benchmark) 는 행동에 누적 결과 가 있고 환경이 반응하는 지속적 의사결정을 측정한다:
- 한 에이전트가 클럽을 20 인게임 시즌 운영한다: 모든 경쟁자와 같은 예산으로 스쿼드를 드래프트하고, 선수를 거래하고, 계약을 협상하고, 시설과 유스에 투자하고, 라인업을 짜며, 자신을 해임할 수 있는 이사회 에 답한다.
- 26개 도구, 약 340–400회 결정 지점; 결정론적 엔진 이 각 해를 하나의 최종 점수로 누적한다 — LLM 심판도, 인간 평가자도 없다.
- 솔로 트랙: 15개 프런티어 모델을 각각 고정된 스크립트 세계 와 겨룸.
- Arena: 같은 모델들에 스크립트 앵커를 더해 하나의 공유 20년 세계 에 둠 — 이 규모의 첫 정면 평가라고 명시된다.
- 세 시드 에 걸쳐 점수 뒤의 여섯 가지 행동 역량을 측정한다.
결과
- 모든 15개 모델이 모든 지평선을 완주 하는 반면, 눈먼 스크립트 기준선은 대부분 소멸 한다.
- claude-fable-5 가 솔로 보드(평균 점수)와 Arena 를 모두 1위, 단 Arena 에서는 타이틀이 열 개 모델 사이를 오간다.
- 규모도, 가격도, 벤더도 순위를 예측하지 못하며; 순위는 지평선 후반에야 정해지고; 최고 성적의 첫 플레이 인간 은 모델 보드 바닥 에 자리한다.
- 점수가 높은 모델은 끝 무렵 회수 느린 투자를 줄이고, 현금을 놀리지 않고 투자에 두며, 재계약을 일찍 연다. 토큰 소비는 아무것도 예측하지 못한다.
- 어떤 모델도 수백 번 거절당한 입찰에서 시장의 숨은 가격을 배우지 못한다.
- 자기관리 기억은 정반대 두 방식으로 실패 한다: 늘어나기만 하는 아카이브, 또는 매 시즌 다시 쓰이는 계획.
의의
이것은 연산으로 환원되지 않는 장기 지평선 결과다. 이 군집은 벤치마크 수치가 (모델, harness) 쌍에 관한 주장이라고 논해 왔는데(Eval Harness Configuration), FM-Bench 는 충분히 긴 지평선에서는 가르는 변수가 행동적 — 종반 규율, 자본 효율, 재계약 타이밍 — 이고 토큰 소비, 규모, 가격, 벤더가 모두 이를 예측하지 못한다 는 것을 더한다. 이는 지속적 행위에서 "생각을 더 하면 결과가 낫다" 에 대한 이 위키가 가진 가장 날카로운 반증이다.
ASI-Bench: At the Dawn of Artificial Superintelligence (arXiv:2608.17271) 및 Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development (arXiv:2608.13417) 와 짝을 이룬다: ASI-Bench 는 인간의 방법론 안내를 거두는 순간 자율성이 붕괴함을, "Beyond Final Scores" 는 에이전트가 자율 연구자가 아니라 엔지니어링 최적화기처럼 행동함을 찾았다. FM-Bench 의 기억 실패 방식(늘어나기만 하는 아카이브 대 매 시즌 재작성)은 같은 자기관리 결핍이며, 이제 그 연구들이 안은 LLM 심판 교란을 제거한 결정론적 채점 도메인에서 드러난다.
유보는 유지한다: 이것은 결정론적 엔진을 가진 게임 이라 — 실제 장기 지평선 경영에 대한 외적 타당성은 유추로 주장될 뿐 입증되지 않았고, "경영 행동" 역량은 논문 자신의 분해다.
열린 질문
- 행동적 발견이 축구 도메인 밖으로 전이되는가, 아니면 이 엔진의 유인 구조가 낳은 인공물인가?
- 왜 claude-fable-5 가 앞서는가 — 규모/가격/벤더가 순위를 예측하지 못하는데, 회전하는 Arena 승자들이 하지 않는 무엇을 구체적으로 하는가?
- 기억 harness 가 두 실패 방식을 고칠 수 있는가, 아니면 모델 수준의 결핍인가?
- 저자 명단, 소속, 라이선스 — 미상; 논문은 읽지 않았다.
인용
FM-Bench: A Benchmark for Long-Horizon Management with Competing Agents (2026). arXiv:2608.18423.