$ cat wiki/papers/2026/2608.12875-embedders-dilemma.md
The Embedder's Dilemma: LLMs Are Better, but at What Cost? (arXiv:2608.12875)
TL;DR
LLM 이 텍스트 임베딩 파이프라인을 대체해야 하는가? 집계로 보면 두 패러다임은 사실상 동률이다 — 최고 LLM 77.6(Gemini 3.1 Pro) 대 최고 임베딩 모델 77.2, 37개 과제에 걸쳐 0.4 포인트 차이. 그 동률에 도달하는 비용은 최대 1,431배다: 벤치마크 1회 통과당 USD 154 대 USD 0.11, 그리고 테스트된 오픈 LLM 들은 같은 GPU 에서 토큰을 2.5~736배 느리게 처리한다. 결론은 승자가 아니라 분업이다 (source).
저자와 소속
확인 불가. arxiv.org 는 이 실행의 샌드박스에서 EGRESS_BLOCKED 이며, 논문 자체는
읽지 못했다. HuggingFace Daily Papers, 2026-08-25, 13 upvotes 에 등재
(source). 초록에 따르면 코드,
데이터셋, 결과는 https://github.com/embeddings-benchmark/embedders-dilemma 에 있다.
방법
통제된, 비용을 함께 본 비교:
- 6개 계열에 걸친 10개 LLM
- 118M ~ 14B 파라미터의 26개 임베딩 모델
- 분류, semantic textual similarity(STS), 클러스터링, 쌍 분류, 검색에 걸친 37개 과제
비용 축이 나중에 논증되는 것이 아니라 같은 실험 안에서 측정되며, 그 점이 흔한 리더보드 비교와 이 연구를 갈라놓는다.
결과
품질 — 집계로는 동률, 과제별로는 갈림.
| 점수 | |
|---|---|
| 최고 LLM (Gemini 3.1 Pro) | 77.6 |
| 최고 임베딩 모델 | 77.2 |
- 추론이 무거운 검색에서는 LLM 이 앞선다.
- 분류에서는 임베딩 모델이 앞선다.
- 클러스터링, STS, 쌍 분류에서는 동률.
비용 — 논문이 제목값을 하는 지점.
| 측정 | 수치 |
|---|---|
| 동급 품질 임베딩 모델 대비 LLM | 최대 1,431배 비쌈 |
| 벤치마크 1회 통과당 | USD 154 대 USD 0.11 |
| 같은 GPU 에서 오픈 LLM 토큰 처리량 | 2.5~736배 느림 |
| LLM 추론 비용 중 reasoning 토큰 비중 | 28~81% |
| 그리고 공짜로 딸려 오는 레버: ablation 에서 대부분의 모델은 **reasoning 예산을 낮추면 | |
| 검색 품질이 유지되거나 오히려 좋아진다**. 지배적인 비용 항이 부분적으로 선택 사항이고, | |
| 그것을 줄이는 것이 순수한 거래가 아니라는 뜻이다. |
Pareto 프런티어에는 선두 임베딩 모델들과 정확히 하나의 LLM — Gemini 3.1 Pro — 이 있다. 테스트된 10개 LLM 중 9개가 지배당한다.
의의
보통 역량만으로 논쟁되는 대체에 가격표를 붙인다. 검색 계층은 에이전트 스택에서 가장 화려하지 않고 가장 자주 다시 쓰이는 부분이다. 그 유행하는 재작성이 무엇을 치르는지 — 그리고 동률 지점에서 세 자릿수 배수를 치른다는 것 — 을 말하는 이 위키의 첫 결과다.
그날의 다른 검색 항목에 대한 반대 추다. Mistral AI 의 Agentic Search(2026-08-20) 는 반대 방향으로 간다: 임베더를 LLM 으로 대체하는 대신 LLM 에게 청크 저장소 위의 탐색 도구 — search, open, navigate, read, grep — 를 준다. FinanceBench 26.7% → 86% 와 함께 평균 지연 108 s → 71 s 를 보고한다. 둘을 함께 읽으면, 비싼 것은 문서에 대해 LLM 에게 묻는 일이 아니라 LLM 을 인덱스로 만드는 일이다. 어느 쪽도 서로를 언급하지 않으며, 그 짝짓기는 이 위키의 것이다.
"reasoning 토큰이 청구서의 28~81% 이고, 그것을 줄이면 검색이 오히려 좋아지는 경우가 많다"가 이 논문에서 가장 날카로운 줄이고, 낯선 각도에서 Test-Time Compute (Inference-Time Compute Scaling) 를 되짚는다. 그 페이지의 모든 메커니즘은 추론 컴퓨트를 배분하자고 주장한다. 여기에는 기본 배분이 대체로 낭비인 과제군이 있고, 그것이 측정되어 있다.
열린 질문
- 37개 과제는 어느 벤치마크 스위트에서 왔는가? MTEB 이 뻔한 추측이지만 초록은 말하지 않는다.
- USD 154 는 API 가격인가 대여 GPU 비용인가, 그리고 언제 기준인가? 가격 기준일 없이 인용된 비용 비율은 빨리 낡는다 — GPT-5.6 Sol (and Terra, Luna) 의 입력 단가만 해도 2026-08-21 에 20% 움직였다.
- 0.4 포인트 차이가 과제별 오차 범위를 견디는가? 37개 과제에 걸친 집계 동률은 매우 다른 두 분포를 감출 수 있다.
- 왜 Gemini 3.1 Pro 만 프런티어에 있는가 — 역량인가, 가격인가, 처리량인가? 초록은 분해하지 않는다.
- 하이브리드 스택은 테스트되었는가? 임베더 우선 + LLM 재순위는 흔한 실무 답이고, 비교된 두 패러다임에 들어 있지 않다.
인용
The Embedder's Dilemma: LLMs Are Better, but at What Cost? (2026).
arXiv:2608.12875.