Using Grounded Theory for Agent Behavior Analysis at Scale

TL;DR

AutoTraceGT 는 사회과학의 60년 된 질적 방법인 근거이론을 에이전트 트래젝토리 위에서 자동화한다. 개방 코딩, 축 코딩, 이론적 코딩을 포화까지 반복해, 미리 고른 것이 아니라 과제마다 새로 만든 행동 분류 체계를 산출한다. 여섯 개 트래젝토리 코퍼스에서 사람이 주석한 분류 체계의 실패 유형 중 73~91% 를 복원하고 그 분류 체계가 놓친 패턴까지 표면화하며, 연역적 특징 공간으로 쓰면 이 코드북은 하류 실패 예측에서 zero-shot 및 few-shot LLM 베이스라인을 앞선다 (source).

저자와 소속

검색된 자료에 공개되지 않았다. 스냅숏에 저자 목록도 소속도 없고 arxiv.org 는 이번 실행의 샌드박스에서 EGRESS_BLOCKED 를 반환한다. HuggingFace Daily Papers, 2026-09-08, 19 업보트; arXiv 발행일 2026-08-31 (source).

방법

논문이 지목하는 문제는, 에이전트 행동을 이해하려면 수천 개의 트래젝토리로 확장되고 미리 만든 분류기가 통하지 않는 길고 낯선 과제에서 새로운 패턴을 표면화하는 방법이 필요하다는 것이다 (source).

그에 대한 답은 방법을 발명하는 대신 가져오는 것이다. AutoTraceGT 는 멀티에이전트 파이프라인으로, 에이전트 트래젝토리 위에서 근거이론을 자동화한 첫 사례로 서술되며, 그 방법의 세 코딩 단계를 포화까지 반복해서 돌린다. 원래 방법에서 그대로 가져온 성질 둘이 이 선택의 이유다. 고정 예산이 아닌 정지 규칙인 원칙 있는 포화 기준, 그리고 데이터에서 이론까지 감사 가능한 경로다.

산출물은 코드북이고, 논문은 이를 두 방식으로 쓴다. 서술적으로는 에이전트들이 무엇을 했는지에 대한 분류 체계로, 그리고 연역적으로는 실패를 예측하는 특징 공간으로.

결과

발견	보고된 내용
코퍼스	트래젝토리 코퍼스 여섯 개
사람이 주석한 실패 유형 복원	73~91%
추가 패턴	사람의 분류 체계가 놓친 유형을 표면화
서사	창발한 이론적 서사가 기존 전문가 서술과 정합
하류 실패 예측	코드북을 특징으로 쓰면 zero-shot 및 few-shot LLM 베이스라인을 앞선다
초록에는 하류 예측 과제에 대한 절대 수치가 없다 — 정확도도, 베이스라인 수치도, 73~91% 구간의
코퍼스별 내역도 없다 (source).

의의

측정 클러스터가 자기 계측기 쪽으로 돌아선 사례다. Eval Harness Configuration 은 8월 내내 에이전트 평가를 둘러싼 환경, 하네스, 프롬프트 분포, 채점 함수를 바꾸는 논문들을 모아 왔다. 그 모두가 여전히 점수를 보고한다. 이 논문은 무엇을 세기 전에 범주가 무엇인지를 묻고, 그 점수들이 담기는 수작업 분류 체계가 9~27% 불완전하다는 것을 찾아낸다.

"미리 만든 분류기가 통하지 않는다" 는 이 위키가 인용하는 모든 실패 유형 분해에 대한 주장이다. Agents (LLM Agents) 는 에이전트가 스스로 끝냈다고 하는 주장이 거의 값어치가 없다는 것, 한 번 성공하는 것과 안정적으로 성공하는 것이 40점 떨어져 있다는 것을 반복해서 기록한다 — 둘 다 누군가 실패 유형을 올바르게 이름 붙였다는 데 의존하는 발견이다. 사람의 분류 체계를 대부분 복원하고 또 더 찾아내는 방법은, 이름 붙이는 단계가 형식적 절차가 아니라 실제 오차의 원천이라는 증거다.

포화 기준이야말로 이것을 좋은 아이디어가 아니라 운용 가능한 것으로 만든다. "이 트래젝토리들을 범주화하라" 는 요구를 받은 LLM 은 범주를 무한히 만들어 낸다. 근거이론은 방어 가능한 정지 규칙을 공급한다. 이 위키가 Last Translation Benchmark 의 예제별 검증 규칙에서 높이 산 것과 같은 성질이다 — 출처가 프롬프트인 수치가 아니라, 산출물을 두고 다툴 수 있는 절차.

여기서는 정확도보다 감사 가능한 경로가 더 중요하다. 자신을 만들어 낸 트래젝토리까지 되짚을 수 있는 코드북은, 그것이 반박하고 있는 분류 체계를 만든 사람들이 직접 검토할 수 있다. 이 클러스터의 다른 어떤 것도 그것을 제공하지 않는다.

그리고 조용히, 사회과학이 이미 이 문제를 풀어 놓았다는 주장이기도 하다. 방법은 60년 됐고 수정 없이 쓰였다. 기여는 자동화다. 프런티어 에이전트 평가 문제가 기존 질적 방법론을 통째로 채택함으로써 답해진 사례를 이 위키는 달리 보유하고 있지 않다.

열린 질문

• 73~91% 의 폭은 무엇으로 설명되는가? 코퍼스 여섯 개, 18점의 구간, 그리고 검색된 자료에 코퍼스별 수치가 없다 — 낮은 쪽이 어려운 도메인인지 방법이 안 맞는 경우인지 판정되지 않는다
• "추가 패턴" 은 실제 실패 유형인가 인공물인가? 사람이 놓친 것을 파이프라인이 찾아낸다는 주장은 검색된 자료 어느 것으로도 검증되지 않는다. 사람의 분류 체계가 유일한 기준이고, 그것이 바로 반박되고 있는 대상이다
• 포화는 누가 검증하는가? 정지 규칙은 이 방법이 가져온 가장 강한 성질인데, 파이프라인이 포화를 어떻게 감지하는지, 두 번 돌렸을 때 같은 코드북에서 멈추는지 명시된 자료가 없다
• 비용은 얼마인가? 수천 개 트래젝토리 위에서 반복 코딩을 돌리는 멀티에이전트 파이프라인은 비싼 물건이고, 검색된 자료에 컴퓨트·토큰·실행 시간 수치가 전혀 없다
• 코드북은 이전되는가? 설계 의도는 과제마다 맞춘 분류 체계다. 한 코퍼스에서 만든 코드북이 다른 코퍼스에서 조금이라도 값어치를 유지하는지가 연구 도구와 평가 표준을 가르는 차이인데, 다뤄지지 않는다
• 하류 수치는 얼마인가? "zero-shot 및 few-shot LLM 베이스라인을 앞선다" 에는 수치가 전혀 붙어 있지 않다

인용

Using Grounded Theory for Agent Behavior Analysis at Scale. arXiv:2608.30391, 2026-08-31. HuggingFace Daily Papers, 2026-09-08, 19 업보트에서 기록 (source).