2026-07-31

1. 벤치마크 수치는 하네스에 대한 주장이고, 오늘 그 값이 4.9× 움직였다

OpenAI 가 Responses API 설정 두 개 — retained reasoning(단계 사이에 생각의 사슬을 유지)과 compaction(오래된 컨텍스트를 잘라내는 대신 요약) — 를 켰더니 GPT-5.6 Sol 이 ARC-AGI-3 공개 과제 집합에서 7.8% 에서 38.3% 로 올라갔고 출력 토큰은 6× 줄었다고 발표했다. 같은 가중치, 같은 과제, 스캐폴딩만으로 4.9× 편차다.

38.3% 는 Claude Opus 5 가 7월 27일에 세운 ARC Prize 검증 SOTA 30.2% 보다 높다. 그러나 Opus 5 가 상태 보존에 해당하는 설정으로 측정되었는지를 밝힌 자료는 없고, ARC Prize 의 공식 점수는 랩들이 서로 비교 가능하도록 의도적으로 하나의 표준화된 하네스를 쓴다. 그러므로 두 수치는 같은 방식으로 만들어지지 않았고 모델의 순위를 매기지 않는다. ARC Prize 가 밝힌 입장은 모든 사용자가 쓸 수 있는 일반 설정은 제대로 보고된다면 문제없다는 것이다.

더 조용한 두 번째 불일치도 있다. "공식 하네스" 수치가 7.8%(ARC Prize 검증)와 13.3%(OpenAI 자체 재실행에 대한 보도)로 나타난다. 읽은 자료 중 어느 것도 둘을 화해시키지 못하므로 양쪽 모두 기록한다.

의의: 장기 에이전틱 벤치마크에서는 이제 하네스가 모델 세대보다 점수를 더 크게 움직인다 — 설정이 붙지 않은 채 발표되는 모든 에이전틱 수치는 반증 불가능하다는 뜻이고, 평가가 향하는 방향이 바로 이 문제를 더 악화시키는 방향이다.

→ Eval Harness Configuration (신규 페이지), GPT-5.6 Sol (and Terra, Luna), Claude Opus 5 → 소스 · The Decoder · ARC Prize results

2. OpenAI 가 Luna 를 80% 내리며, 그 값을 모델이 벌었다고 말한다

Luna 는 100만 토큰당 $1/$6 에서 $0.20/$1.20 로, Terra 는 $2.50/$15 에서 $2/$12 로 내려가고, Sol 은 그대로에 "더 빠른 옵션"이 추가된다. 낮아진 요율은 Codex 와 ChatGPT Work 에서 사용량이 계산되는 방식에도 반영된다.

두 번 읽을 만한 대목은 그 원인이다. OpenAI 는 GA 이후 GPT-5.6 Sol 을 자사 서빙 스택에 적용했다고 말한다. Codex 안에서 Sol 이 Triton 과 Gluon 으로 프로덕션 GPU 커널을 다시 작성해 서빙 비용 20% 절감, 그리고 "수백 번의 자율 실험"에 걸쳐 Sol 이 자신의 speculative-decoding 드래프트 모델을 재설계해 토큰 생성 효율 15%+ 개선. 모델이 작성한 커널의 검증에는 오픈소스 FpSan 새니타이저가 쓰였다.

의의: OpenAI 는 7월 28일에 "Pacing the Frontier" 성명을 지지했다 — 바로 자동화된 AI 개발 의 속도 조절에 관한 성명이다. 이틀 뒤 자사 모델이 자기 인프라를 개선했다고, 비용 절감으로 정리하고 가격 인하로 고객에게 넘기며 발표했다. 두 가지는 동시에 참일 수 있고 숨겨진 것도 없다. 요점은 그 성명이 랩들에게 브레이크를 만들어 두라고 요구한 바로 그 메커니즘이 이제 가격 공지의 한 항목이 되었다는 것이다.

→ GPT-5.6 Sol (and Terra, Luna), OpenAI, Frontier Pacing → 소스 · CNBC · @OpenAI

3. DeepMind 가 로봇의 뇌는 공개하고 몸은 비공개로 남긴다

두 건의 발표에 걸친 3종 모델: 휴머노이드 전신 — 다리, 몸통, 팔, 다지 손 — 을 하나의 학습된 정책으로 제어하는 VLA(7월 28일), 체화 추론 VLM(7월 30일), 그리고 온디바이스 VLA. 공개된 것은 추론 모델뿐이며 Gemini API 에 gemini-robotics-er-2-preview 로 제공된다. 행동하는 두 모델은 얼리 액세스 파트너십이다.

정밀 손동작 표가 이 분야의 정직한 현재 수준이다. 22 자유도 SharpaWave 손 기준: 전구 풀기 92%, 다시 끼우기 36%, 쓰레기봉투 묶기 44%, 지퍼백 밀봉 40%, 쓰레받기 32%. Apollo 2 휴머노이드 전신 조작은 45.7%(바닥 집기)에서 76.3%(선반 집기)다. ER 2 는 순간 탐지 91.3% 를 평균 절대 거리 오차 0.96 초로 보고한다. On-Device 2 는 200 개 미만의 시연으로 몇 시간 안에 새 로봇 체화에 적응한다.

함께 공개된 것: ASIMOV-Agentic, 추론 계층이 행동 계층의 위험한 명령을 거부하는지, 시도 전에 물리적 가능성을 판단하는지, 불확실할 때 사람의 도움을 요청하는지 평가하는 오픈 벤치마크.

의의: 삽입과 변형체 조작은 여전히 미해결이다 — 전구를 빼는 일은 거의 해결되었지만 다시 끼우는 일은 신뢰도가 3분의 1이다. 그리고 출시의 형태 자체가 정책 선언이다. 계획하는 계층은 공개 API 이고 움직이는 계층은 아니다.

→ Gemini Robotics 2 (신규 페이지), Gemini Robotics ER 2 (신규 페이지), Embodied Agents, Google DeepMind → 소스 · DeepMind · Engadget