OpenAI Parameter Golf — What It Taught Us

TL;DR

OpenAI 가 커뮤니티 ML 챌린지를 열었다(16 MB 모델, 훈련 10분, 8×H100). 핵심 발견: AI 코딩 에이전트가 표준 연구 도구가 되면서 ML 연구의 진입 장벽이 크게 낮아졌다.

Authors & Org

OpenAI (동료 심사 논문이 아니라 연구 블로그). 커뮤니티 챌린지: 외부 참가자 1,000명 이상, 제출 2,000건 이상.

Method

• 제약: 모델 + 훈련 코드 아티팩트 16 MB 이하, 8×H100 에서 훈련 10분 이하
• 평가: 제약 안에서의 언어 모델 품질
• 커뮤니티: github.com/openai/parameter-golf 를 통한 공개 챌린지, RunPod 이 컴퓨트 크레딧 $100만 제공

Results

1. 16 MB 안에서도 경쟁력 있는 LM 이 가능하다 — 효율 연구에는 스케일 너머의 여지가 남아 있다.
2. 우승 접근법: 공격적 양자화 + 관습을 벗어난 아키텍처 설계.
3. 참가자 다수가 코딩 에이전트를 핵심 연구 워크플로로 언급했다 — 실험 세팅, 낯선 코드 파악, 가설 검증. 에이전트 보조 연구가 규범이 된 첫 대형 ML 대회다.

Significance

서로 다른 두 신호가 있다.

효율 신호: 역량은 원시 컴퓨트 규모와 독립적으로 존재한다. 엣지·모바일 배포, 비용 절감, 대규모 클러스터를 제한하는 규제 환경에 유의미하다.

에이전트 보조 연구 신호: 광범위한 에이전트 사용은 Software 3.0 의 검증가능성 원칙에 대한 직접적 데이터다 — RL 에이전트는 명확하고 자동 평가 가능한 보상 신호가 있을 때 잘 작동한다(여기서는 검증 손실 + 모델 크기). 목표가 본질적으로 정량화되는 ML 연구는 에이전틱 자동화의 ROI 가 가장 높은 영역 중 하나일 수 있다. Andrej Karpathy 의 autoresearch 프로젝트와 연결된다.

Open Questions

• 에이전트 보조 접근법이 빡빡하게 제약된 챌린지를 넘어 개방형 연구로도 일반화되는가?
• 16 MB 효율이 프로덕션 규모의 모델 설계 결정으로 전이되는가?

Cite

"What Parameter Golf taught us" — OpenAI 연구 블로그, 2026-05-12. (link)