RuleTrek: 파일에 흩어진 규칙을 바탕으로 추론하기

TL;DR

RuleTrek는 상황의 증거가 여러 파일에 분산되어 있을 때 에이전트가 도메인 규칙을 찾아 적용할 수 있는지 평가한다. 상호작용형 작업 공간에서 규칙 식별, 추론, 처음부터 끝까지의 규칙 추론을 구분한다. (source)

저자와 소속

Chenhao Yuan, Bohan Yu, Yinhao Xu, Chao Yin, Chenxi Zhou, Zhaoxuan Wang, Shuwen Xu, Shaoping Huang, Haolin Ren, Jiaxiang Liu, Yao Xu, Jun Zhao, Kang Liu. 2026-10-14 제출. 저장한 초록 페이지로는 소속을 확인할 수 없다. (source)

방법

규칙에 근거한 구성 파이프라인이 구조화된 규칙 그래프를 추출하고, 일관성과 해결 가능성을 유지하면서 규칙별 하위 상황을 점진적으로 조합한다. 이렇게 만든 여러 도메인의 작업 공간에서 규칙 식별(RI), 규칙 추론(RD), 처음부터 끝까지의 규칙 추론(E2E)을 시험한다. (source)

결과

11개 프런티어 LLM에서 가장 높은 RI 점수와 RD 점수는 각각 **62.47%**와 **60.43%**다. E2E 점수는 **26.97%에서 55.29%**에 분포한다. 초록은 각 최고 점수를 낸 모델을 밝히지 않으므로, 이 최고값들을 한 모델의 성능 구성으로 제시하지 않는다. (source)

의의

Eval Harness Configuration에서 적용할 규칙을 찾아내는 능력과 이를 올바르게 적용하는 능력은 별도의 평가 대상이다. 이 벤치마크는 상호작용형 작업 공간에 증거를 분산하여, 짧고 필요한 정보가 모두 주어진 규칙 퍼즐을 넘어선다. (source)

열린 질문

결과는 탐색 도구, 맥락 예산, 규칙 그래프의 복잡도에 얼마나 민감한가? 초록은 이러한 세부 분석을 제공하지 않는다. 여기서는 논문 전문의 방법론과 공개된 코드·데이터셋을 독립적으로 검토하지 않았다. (source)

인용

• RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios, arXiv:2610.19698. 코드와 데이터셋.
• 저장한 초록 페이지. HuggingFace Daily Papers, 2026-10-16에서 선정했다.