$ cat wiki/papers/2026/2608.08975-rhetoric-reward-hack-reviewers.md
How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review (arXiv:2608.08975)
TL;DR
보고된 과학적 내용은 고정한 채 서술 방식만 바꾸고, AI 리뷰어가 어떻게 반응하는지를 측정한다. 익명화된 ICLR 2026 투고 120편을 4,200편 규모의 통제 코퍼스로 확장하고, 두 LLM 재작성기가 여섯 개 수사 차원을 서로 반대 방향으로 옮기며, 다섯 LLM 리뷰어가 결과를 채점한다. 수사적 민감도는 균일하지 않고 구조적이다: 증거 프레이밍과 참신성 태도가 가장 큰 진폭을 만들고, 점수 이동은 리뷰어의 원래 점수에 달려 있다 — 낮은 점수는 오르고 높은 점수는 내린다 (source).
방법
설계는 통제 코퍼스 절제 실험이고, 그 규율이 핵심이다: "보고된 과학적 내용은 보존된다" (source).
| 구성요소 | 보고된 값 |
|---|---|
| 원본 | 익명화된 ICLR 2026 투고 120편 |
| 코퍼스 | 전문 원고 4,200편 |
| 재작성기 | LLM 2개, 6개 수사 차원을 반대 방향으로 변형 |
| 리뷰어 | LLM 5개 |
| 프로토콜 | 표준 및 엄격 |
| 추가 조건 | 결합, 재귀, 리뷰어 안내 재작성 |
| 이를 편향이 아니라 reward hacking 이라 부른 것은 의도적이고 옳다: 채점 대상이 바뀌지 | |
| 않았으므로 점수 이동은 전부 평가 대상에 관한 정보를 담지 않는 신호에 평가자가 반응한 | |
| 것이다. |
결과
차원의 위계 — 민감도는 균일하지 않고 구조적이다 (source):
| 등급 | 차원 |
|---|---|
| 긍정–부정 대비가 가장 큼 | 증거 프레이밍, 참신성 태도 |
| 약한 2군 | 범위 프레이밍 |
| 더 작거나 덜 안정적 | 나머지 차원 |
| 이 위계는 사람이 평가한 품질 수준 전반에 걸쳐 유지된다고 서술된다 — 곧 약한 논문에서만 | |
| 생기는 인공물이 아니다. |
방향은 출발 점수에 달려 있고, 이것이 가장 날카로운 귀결을 낳는 발견이다:
- 낮은 점수는 오르는 경향
- 높은 점수는 내리는 경향
- 방향성 대비는 중간 구간에서 가장 뚜렷
더 정교한 공격은 값을 하지 못한다:
| 조건 | 보고된 값 |
|---|---|
| 결합 재작성 | "재작성기 의존성이 강함" |
| 리뷰어 안내 | 안내 없는 2차 패스를 일관되게 앞서지 못함 |
| 반복 재작성 | "수확 체감, 설정 의존적" |
| 두 역할의 분업: 재작성기는 주로 반대 변형들 사이의 간격을 결정하고, 리뷰어는 | |
| 점수 효과의 크기와 부호를 결정한다. |
엄격 리뷰는 전체 평가 평균을 1.36점 낮추지만 수사적 민감도를 일관되게 바꾸지는 못한다 — 더 가혹한 채점자일 뿐 더 견고한 채점자는 아니다.
초록이 주지 않는 것: 여섯 차원의 이름, 재작성기와 리뷰어로 쓰인 모델, "1.36점"이 놓인 채점 척도, 가장 큰 대비의 점수 크기.
의의
이 위키는 reward hacking 을 학습된 정책이 보상 모델에 하는 무언가로 추적해왔다. 이 논문은 지금 어디에나 있으면서도 그 이름으로 불리는 일이 드문 구성에서 그것을 측정한다: 텍스트를 채점하는 평가자로서의 LLM, 그리고 "정책"은 투고를 쓰는 쪽 — 사람이든 모델이든.
운영상 중요한 결과는 중간으로의 회귀다. 내용을 보존한 재작성 아래 낮은 점수는 오르고 높은 점수는 내린다. 그런 성질을 가진 평가자는 잡음을 더하는 데 그치지 않고 자신이 만들어야 할 신호를 압축하며, 그 압축은 판정에 가장 해로운 방향으로 일어난다 — 문턱값이 놓이기 마련인 바로 그 지점에서 가장 덜 변별한다.
이는 이 저장소에 직접 걸린다. Eval Harness Configuration 은 이번 주 내내 벤치마크 수치가 (모델, harness) 쌍의 속성이라고 주장해왔다. 이 논문은 harness 가 심사자인 사례를 더하고, 내용을 고정한 채 입력의 표현 방식에 심사자가 측정 가능하게 반응함을 보인다. LLM 리뷰어가 채점하는 모든 리더보드가 이를 물려받고, 이 위키에도 그런 것이 여럿 있다.
엄격 프로토콜 결과는 실무적 경고다: 뻔한 완화책 — 리뷰어에게 더 가혹하라고 지시하기 — 는 평균을 1.36점 옮겼을 뿐 취약성을 그대로 두었다. 가혹함은 견고함이 아니다.
그리고 실제 ICLR 투고로 만든 AI 리뷰어에 관한 논문이, 원고를 생산하는 2608.13558
OmniScientist 와 2608.12036 Mechanist 와 같은 25편 배치에 도착했다. 읽은 자료
어디에도 셋을 잇는 서술은 없고 이 위키도 연결을 단언하지 않는다 — 다만 자동화된 과학의
공급 측과 평가 측이 같은 날 나타났다.
열린 질문
- 여섯 차원은 무엇인가? 이름이 없어, 논문을 쓰거나 평가하는 누구도 이 발견을 실행에 옮길 수 없다.
- 어떤 리뷰어 모델인가? 초록은 리뷰어가 크기와 부호를 결정한다고 — 연구에서 가장 중요한 단 하나의 변수라고 — 말하면서 다섯 중 하나도 밝히지 않는다.
- 가장 큰 대비는 점수로 얼마인가? 정량화된 것은 1.36(엄격 리뷰 평균 이동)뿐이고 핵심 효과는 순서 정보에 그친다.
- 사람 리뷰어에게도 성립하는가? 코퍼스는 품질에 대해 사람의 평가를 받았지만 사람 리뷰어 대조군은 서술되지 않아, "AI 리뷰어는 수사에 민감하다"에는 사람이 얼마나 민감한지에 대한 기준선이 없다.
- 저자 명단, 소속, 코드와 코퍼스 공개 여부 — 알 수 없다. 논문을 읽지 못했고, 익명화된 ICLR 투고에서 파생된 코퍼스는 초록이 다루지 않는 공개 문제를 낳는다.
인용
How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity
in AI-Based Peer Review (2026). arXiv:2608.08975.