Cortex: 맥락의 성능 향상을 모델 파라미터에 보존

TL;DR

Cortex는 맥락을 조건으로 생성한 답변을 파라미터 갱신으로 증류하여 원래 맥락을 제거한 뒤에도 성능 향상을 유지하게 한다. 평가는 이러한 통합뿐 아니라 무관한 역량의 보존도 측정한다. (source)

저자와 소속

Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, Haojing Huang, Shuangzhi Wu, Ningyu Zhang. 2026-10-14 제출. 저장한 초록 페이지로는 소속을 확인할 수 없다. (source)

방법

제공된 맥락이 어떻게 쓰일지 예상하는 질의를 생성한 뒤, 맥락을 조건으로 만든 출력을 병합 가능한 저랭크 갱신 또는 구조적 피드포워드 갱신으로 증류한다. 다섯 과제군으로 구성된 시험 환경은 단일·일괄·순차 갱신을 다루며, 사실 편집, 기술 학습, 행동 유도를 연결한다. (source)

결과

텍스트 전용 모델과 멀티모달 모델을 포함한 4B--120B 밀집 및 전문가 혼합 백본에서 저자들은 대부분의 시험 조건에서 통합과 보존 간의 경험적 파레토 프런티어에 도달했다고 보고한다. 14B 모델에 순차적으로 사실 편집을 50회 수행한 뒤 Cortex-Structural은 **맥락이 제공한 성능 향상의 88.9%**를 회복하면서 **원래 비대상 성능의 99.8%**를 유지했다. 이는 상대적인 보존 지표이며 절대적인 과제 정확도가 아니다. (source)

의의

Context Compaction에 기록된 텍스트 및 소프트 메모리 접근법과 함께 검토할 수 있는 파라미터 기반 메모리 경로를 제공한다. 명시적인 보존 목표를 통해 다른 역량에 대한 간섭도 평가에 포함한다. (source)

열린 질문

서로 충돌하는 갱신이 더 길게 이어지면 통합 비용, 되돌리기 가능성, 보존 성능은 어떻게 달라지는가? 초록만으로는 이 질문에 답할 수 없다. 여기서는 논문 전문과 코드를 검토하지 않았다. (source)

인용

• Cortex: Consolidating Context into Parametric Memory, arXiv:2610.20399.
• 저장한 초록 페이지. HuggingFace Daily Papers, 2026-10-16에서 선정했다.