Agentic Reinforcement Learning

Definition

LLM 에이전트가 환경과 상호작용하며 RL로 학습하는 패러다임. 단일 응답이 아닌 multi-step tool use, planning, reflection 시퀀스를 reward 신호로 최적화.

Why It Matters

• 본인 관심사 정중앙: agents + RL + reasoning 의 교차점
• 단순 RLHF (응답 1개 평가) 의 한계 — 에이전트는 sequence 평가 필요
• 2026 핵심 연구 흐름 중 하나

State of the Art (2026-07-16)

• Anthropic AAR (2026-04-14): 9개 Claude Opus 4.6 인스턴스가 agentic RL 세팅에서 alignment 연구 문제(weak-to-strong supervision)를 1주간 수행 → PGR 97% vs 인간 연구자 23%. RL 에이전트가 실세계 연구 문제에서 인간을 대체한 첫 실증 케이스. → Automated Weak-to-Strong Researcher (AAR)
• Self-Distilled Agentic RL (2026-05-16 HF Daily #3): Self-Distilled Agentic RL
• Direct On-Policy Distillation / Direct-OPD (2026-07-06, Tsinghua AIR + ByteDance Seed): 값싼 약한 모델로 RL 을 돌린 뒤, RL 이 만들어낸 정책 변화분(Δ = log π_T − log π_{T,ref})만 on-policy distillation 으로 큰 모델에 옮긴다. 프런티어 규모에서 RLVR 이득을 배포하는 비용을 낮춘다. 프런티어 RL 이 비싼 Anthropic AAR 류 워크로드에 실질적인 비용 지렛대. → Weak-to-Strong Generalization via Direct On-Policy Distillation
• 관련 prior work: ReAct, Reflexion, AutoGPT 류 (페이지 TBD)

Open Problems

• Multi-step credit assignment
• Reward hacking in tool-use environments
• Data efficiency (online RL은 비싸다) — Direct-OPD 가 약한 모델 롤아웃으로 일부 해소
• Long-horizon stability

Key Papers

• Automated Weak-to-Strong Researcher (AAR) — Anthropic AAR, 2026-04-14 (97% PGR, weak-to-strong supervision)
• Self-Distilled Agentic Reinforcement Learning — 2026-05
• Weak-to-Strong Generalization via Direct On-Policy Distillation — Direct-OPD, Tsinghua AIR/ByteDance, 2026-07-06 (비용 효율적 RL 전이)

Related Concepts

• Reasoning Models
• agents, tool-use concept 페이지 후속 작성

Sources

• Self-Distilled Agentic RL paper