FDE-Gym

TL;DR

FDE-Gym은 에이전트가 명시되지 않은 고객의 제약을 알아내고 사업 지표를 개선해야 하는 납품 과정을 평가한다. 요구 사항이 명시된 작업에서 좋은 성능을 보였다고 해서 이 환경에서도 성공한다고 볼 수는 없다. (source)

저자와 소속

Dongxu Yang, Hongda Yan, Renxin Wang 외 연구진. 캡처한 초록 페이지에는 전체 저자 목록이 있지만 소속은 확인되지 않는다. 제출일은 2026-10-15이다. (source)

방법

벤치마크는 18개 분야의 고객 시나리오 20개에서 구성한 95개 작업을 포함하며, 대본에 따라 반응하는 이해관계자와 수정 가능한 모의 시스템을 제공한다. 점수는 고객 지표의 개선 정도를 변경되지 않은 시스템의 0에서 기준 해법의 1 사이로 정규화하고, 상호작용에 따른 감점을 적용한다. (source)

결과

• 일곱 공급업체의 모델 구성 13개 가운데 현실적 조건에서 가장 좋은 구성은 평균 0.56을 기록하고 95개 작업 중 14개를 해결한다. 해결로 인정되려면 사고 없이 최소 0.8의 점수를 받아야 한다. (source)
• 해당 구성이 이해관계자의 핵심 정보를 모두 확보한 23개 작업에서도 정규화된 사업 지표 개선이 0.8 이상에 도달한 것은 10개뿐이다. 정보 탐색만으로는 납품 성과의 격차가 해소되지 않는다. (source)

의의

Agents (LLM Agents)와 Eval Harness Configuration에서는 요구 사항 파악과 성공적인 실행을 따로 측정해야 한다. 보고된 점수는 모의 고객 환경의 벤치마크 결과이며, 실제 운영 현장에서 측정된 사업 성과가 아니다. (source)

열린 질문

초록에는 가장 좋은 모델 구성의 이름이나 전체 실행 비용이 나오지 않는다. 논문 전문의 방법론, 대본형 이해관계자의 현실성, 실제 고객 환경으로의 전이는 여기서 검토하지 않았다. (source)

인용

arXiv:2610.22350, 최초 제출일 2026-10-15. (source)