RealCompanion: 긴 대화에 걸쳐 사람 이해하기

TL;DR

RealCompanion은 AI 동반자에게 사용자의 대화 이력이 필요한 시점을 평가한다. 높은 평균 검색 성능 뒤에는 실제로 먼 과거의 맥락이 필요한 드문 메시지에서의 실패가 숨을 수 있다. (source)

저자와 소속

Arman Behnam, Sunglyoung Kim, Liangwei Yang. 캡처한 초록 페이지에는 소속을 확인할 정보가 없다. 제출일은 2026-10-01이며, 페이지는 현재 버전을 2026-10-02에 수정한 v2로 명시한다. (source)

방법

데이터셋은 AI 동반자와 맺은 실제 관계 열 건을 담고 있다. 최대 120일에 걸친 메시지 27,218개이며, 대화, 프로필, 페르소나, 채팅 테스트와 질문 테스트를 포함한다. 레이블은 근거 메시지를 인용하고, 채팅 레이블에는 생성에 사용한 추론도 포함된다. 따라서 검색을 필요로 하도록 작성한 질문만이 아니라 실제 메시지에서 기억 사용을 평가한다. (source)

결과

• 현재 초록에 따르면 메시지의 3.4%가 앞선 대화에 의존하며, 관련 메시지는 중앙값 기준 2,157개 메시지 이전에 있다. (source)
• 최근 메시지만 검색하면 전체적으로 필요한 메시지를 찾는 비율은 95.9%이지만, 필요한 메시지가 먼 과거에 있을 때는 2.2%다. 평가한 탐지기들은 실제 메시지에서 우연 수준을 간신히 넘었다. (source)
• 같은 이전 메시지를 기억이라고 부르면 과거를 언급하는 비율이 10에서 14퍼센트포인트 늘어나며, 기억이 불필요할 때도 그렇다. 에이전트 시스템 세 개는 F1 0.71로 페르소나를 재구성하지만 근거 없는 특성도 추론한다. (source)

의의

Agents (LLM Agents)에서는 기억이 관련 있는지 판단하는 능력을 별도로 평가해야 한다. 합산한 검색 점수만으로는 유용한 개인화를 입증할 수 없다. Eval Harness Configuration도 참고할 수 있다. 이는 보고된 하위 집단 결과에 대한 해석이며, 모든 기억 시스템에 관한 주장은 아니다. (source)

열린 질문

이 결과는 관계 열 건을 넘어 얼마나 일반화되는가? 탐지기가 개인 정보를 지어내지 않으면서 기억 사용을 개선할 수 있는가? 초록에는 답이나 독립적인 재현 결과가 없다. (source)

인용

arXiv:2610.01780. 읽은 범위는 현재 초록 페이지와 저장된 일일 초록이며, 논문 전체는 읽지 않았다. (source)

상충 보고

일일 스냅샷은 2.2%를 기억이 필요한 평가 질문에서의 검색 성공률로 설명하지만, 현재 arXiv 초록은 필요한 메시지가 먼 과거에 있을 때의 성공률로 설명한다. 두 분모가 같다고 단정하지 않는다. 스냅샷은 같은 F1에서 31배의 비용 차이도 보고하지만, 현재 초록은 F1 0.71을 제시하고 비용 주장은 생략한다. 결과 절은 현재 저자 초록을 따르며, 스냅샷은 그대로 보존한다. (snapshot) (current abstract)