SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation (arXiv:2608.18701)

TL;DR

변형체 조작을 위한 시각-촉각 데이터셋이자 폐루프 벤치마크로, 정책이 성공했는지만이 아니라 어떻게 접촉했는지를 채점한다. Deformation-aware Success Rate 는 과제가 완수되고 동시에 최대 변형이 허용 범위 안에 머물 때만 롤아웃을 성공으로 센다 — 그리고 Diffusion Policy, π₀.₅, FastWAM 전반에서 분포 내 설정 12개 모두가 허용 범위를 위반한 성공 롤아웃을 포함하며, 각 설정 성공의 **0.7–24%**에 해당한다 (source).

저자와 소속

확보 불가. arxiv.org 는 EGRESS_BLOCKED 이고 논문은 읽지 않았다. HuggingFace Daily Papers, 2026-08-23, 12 upvotes 에 올라 있다 (source).

방법

서술된 공백: 대부분의 벤치마크가 과제 성공만 평가하므로, 정책이 "미끄러짐을 허용하거나 과도한 압축을 일으키면서" 과제를 완수할 수 있다. 지목된 병목은 정책이 볼 수 있는 접촉 관측과 독립적인 물리적 정답을 과제 전 구간에 걸쳐 짝지은 데이터셋의 부재다.

데이터셋: 전문가 시연 4,000건, 체적 변형체와 시각적으로 일치하는 강체 쌍둥이를 포함한 50종 이상의 에셋. 각 에피소드는 20 Hz 에서 다음을 동기화한다:

• 다중 시점 RGB,
• 양손가락 촉각 RGB 및 마커 운동,
• 고유수용감각, 언어,
• 이진 및 연속 그리퍼 액션,
• 그리고 평가자 전용 유한요소(FEM) 상태 — 정책이 볼 수 없는 독립적 정답.

벤치마크: 폐루프이며, 객체별 고정 캘리브레이션으로 Deformation-aware Success Rate (DSR) 를 정의한다.

결과

• Diffusion Policy, π₀.₅, FastWAM 전반의 분포 내 설정 12개 모두가 변형 허용 범위를 위반한 성공 롤아웃을 포함하며 — 각 설정 성공의 0.7–24%.
• 분포 변화 아래에서는 시각-촉각 변형이 정책–스위트 비교 여섯 건 모두에서 더 높은 과제 성공을, 다섯 건에서 더 높은 DSR 을 달성한다.
• 분포 내에서는 촉각의 이득이 엇갈린다.

서술된 결론: "촉각을 사용할 수 있게 만드는 것만으로 효과적인 멀티모달 융합이 보장되지는 않는다."

초록이 주지 않는 것: 성공률과 DSR 의 절대 수치, 허용 범위가 어떤 값으로 설정되는지, 어느 설정이 24% 쪽 끝에 있는지.

의의

이것은 오늘 반복되는 발견의 물리 제어판이다: 모두가 보고하는 점수가 정작 중요한 양이 아니다. 정책은 물체를 으스러뜨리면서도 기존의 모든 벤치마크에서 정답으로 집계될 수 있다. 교정 수단은 더 나은 모델이 아니라 독립적인 측정 채널 — 정책이 관측할 수 없는 FEM 상태 — 이며, 이는 SemaPLC: A Project-Grounded, Verification-Gated Agent Harness for PLC Code Generation (arXiv:2608.18565) 가 모델의 자기 평가 대신 기록된 외부 검사로 완료를 게이팅한 것, 그리고 Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning (arXiv:2608.18746) 가 잠재 비용이 실제로 계획을 실제 진척 순서대로 정렬하는지 측정한 것과 구조적으로 같은 수순이다.

설계를 바꿔야 할 결과는 촉각 쪽이다. 촉각 센서를 더하면 분포 변화 아래 성공률은 올랐지만 분포 내에서는 안정적으로 오르지 않았고, DSR 은 여섯 중 여섯이 아니라 다섯에서 올랐다. 즉 해법은 모달리티가 아니라 융합이다. 이는 Embodied Agents 가 모아온 센서 풍부한 정책들에 가지고 가야 할 경고다.

범위는 그대로 유지한다: 정책 계열 셋, 그리퍼 형태 하나, 그리고 객체별 고정 캘리브레이션으로 설정된 허용 범위. "0.7–24%"는 넓은 띠이고, 초록은 그 양 끝을 무엇이 가르는지 말하지 않는다.

열린 질문

• 0.7% 와 24% 끝을 무엇이 결정하는가 — 정책인가, 객체인가, 허용 범위인가?
• DSR 을 상대로 학습한 정책이 이를 게이밍할 수 있는가, 아니면 평가자 전용 FEM 상태가 그것을 막는가?
• 촉각의 가치가 분포 내/외로 갈리는 이 양상이 다른 촉각 하드웨어에서도 유지되는가?
• 저자 목록, 소속, 라이선스, 데이터 라이선스 — 미상. 논문은 읽지 않았다.

인용

SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for
Deformable-Object Manipulation (2026). arXiv:2608.18701.

• arXiv:2608.18701
• HuggingFace Daily Papers snapshot, 2026-08-23

관련

• Embodied Agents
• Eval Harness Configuration
• SemaPLC: A Project-Grounded, Verification-Gated Agent Harness for PLC Code Generation (arXiv:2608.18565)
• Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning (arXiv:2608.18746)
• Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence (arXiv:2608.16590)