$ cat wiki/papers/2026/2608.15008-harness-the-memory.md
Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents (arXiv:2608.15008)
TL;DR
LLM 에이전트가 쓰는 흔한 메모리 기질을 모두 하나의 통합 하네스 에 통과시키고 — 지표 26 개, 백본 3 종, 벤치마크 4 묶음 — 어떤 기질도 일관되게 우위를 갖지 않는다 고 보고한다. 무게가 실리는 발견은 순위가 아니라 방향이다: 넓은 검색은 긴 맥락의 사실형 QA 를 돕고 순차적 의사결정은 해칠 수 있다. 행동에 결정적인 맥락에서 주의를 끌어가기 때문이다 (source).
방법
연구 대상은 메모리 기질 이다: 에이전트의 기억이 표현되고 저장되는 바탕 매체이며, 그 위에서 도는 검색 정책과는 구별된다.
| 구성 요소 | 무엇인가 |
|---|---|
| 비교한 기질 | 밀집·희소 인덱스, 텍스트 레코드, 구조적 저장소, 계층적 저장소, 정련 기반 메모리, 파라메트릭 갱신, 활성값 호환 맥락 기제 |
| 백본 | 3 종 모델 |
| 벤치마크 | 4 묶음, 사용자 중심 질의응답과 에이전트 중심 의사결정에 걸침 |
| 계측 | 통합 하네스 아래 성능·효율 지표 26 개 |
| 코드는 논문 채택 시 공개한다고 밝혀져 있다 — 즉 아직 아니다. |
결과
- 네 묶음에 걸쳐 어떤 기질도 일관되게 우위를 갖지 않는다.
- 넓은 검색은 긴 맥락 사실형 QA 에 이롭다.
- 과도한 검색은 순차적 의사결정을 해칠 수 있다. 명시된 기제는 행동에 결정적인 맥락 에서 주의를 옮겨간다는 것이다.
- 확장성이 또 하나의 라우팅 축이다: 중간 길이 히스토리에서 잘 작동하는 기질이 더 긴 구간에서는 비싸지거나 취약해질 수 있다.
- 따라서 논문의 제안은 기질 라우팅 — 운용 국면별로 기질을 고르는 것 — 을 적응형 에이전트 메모리의 필수 구성 요소로 두는 것이다.
초록이 주지 않는 것: 어느 백본 3종인지, 어느 4묶음인지, 어떤 점수도, 기질별 순위도, 26개 지표도, "중간" 과 "더 긴" 구간의 경계가 어디인지도.
의의
국면 의존성이 요점이며, 하루에 나온 두 번째 그런 결과다. Demystifying Agent Skills: Why They Work — Until They Don't (arXiv:2608.14036) 는 풀이 5개에서 100개로 커질 때 스킬 검색 정밀도가 29.6% → 3.3% 로 붕괴한다고 보고하고, 이 논문은 검색을 더 하면 사실형 QA 는 도우면서 순차적 의사결정은 실제로 해친다 고 보고한다. 둘은 같은 구조적 사실을 서로 다른 쪽에서 말한다: 검색의 양은 유용성에 대해 단조가 아니며, 부호를 결정하는 것은 과제 부류다. 어느 쪽도 다른 쪽을 인용하지 않으며, 이 짝짓기는 이 위키의 것이다.
Eval Harness Configuration 의 상시 불만에 대한 깔끔한 방법론적 대응이기도 하다. 그 페이지의 이의는 에이전트 결과가 이름 없는 단일 구성에서 나온 하나의 숫자로 보고된다는 것이다. 이 논문은 하네스를 고정하고 기질만 바꾼다 — 그 페이지가 요구해 온 실험 형태 — 그리고 답은 국면에 따라 승자가 바뀐다는 것이다. 순위보다 위에 쌓기 어려운 결과이고, 더 유용하다: 메모리 벤치마크 리더보드는 자기 과제 구성비를 재고 있으리라는 말이기 때문이다.
하네스 클러스터와의 미해결 긴장 은 분명히 적어 둘 값이 있다. StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling (arXiv:2608.15089) 은 지속 상태 에서 이득을 얻는다 — 구조적으로 더 많이 기억하는 것이다. 이 논문은 더 많이 기억하는 것이 StateM 이 겨냥하는 바로 그 부류, 즉 순차적 의사결정을 열화시킨다고 본다. 조직된 국면 지역 상태와 넓은 검색 이 서로 다른 연산이라면 둘은 양립하고, StateM 이 주장하는 바가 그것이지만, 어느 논문도 그것을 직접 시험하지 않는다.
열린 질문
- 해가 되기 시작하는 문턱은 어디인가? "과도한 검색" 이 발견의 경첩인데 초록은 양도, k 도, 곡선도 주지 않는다.
- 기질 라우팅은 측정된 것인가 제안된 것인가? 논문은 라우팅을 필수 구성 요소로 동기화하지만, 읽은 자료 어디에도 라우터를 구현하거나 평가했다는 말은 없다.
- 백본 3종은 서로 일치하는가? 백본에 따라 기질 순위가 뒤집힌다면 논문이 하는 것보다 강한 주장이고, 셋에 걸쳐 유지된다면 더 약한 주장이다. 어느 쪽도 명시되지 않는다.
- 파라메트릭 갱신이 밀집 인덱스와 같은 표에 있다 — 이들은 비용이 자릿수로 다르고, 26개 지표의 효율 절반이 바로 그것을 드러내야 할 자리다. 읽은 자료에 효율 수치는 하나도 없다.
- 저자, 소속, 라이선스 — 미상. 논문은 읽지 않았다.
인용
Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents
(2026). arXiv:2608.15008.