안드레이 카르파티는 사람들이 쉬는 밤에 수백 개의 실험을 수행하도록 AI 에이전트를 교육했습니다

안드레이 카르파티 (Andrej Karpathy)가 자가 연구를 위한 새로운 접근법을 공개합니다

전 Tesla AI 프로젝트 책임자이자 OpenAI 공동 창립자인 안드레이 카르파티는 간단하지만 강력한 오픈소스 프로젝트 출시를 발표했습니다. 스크립트는 630줄에 불과하며 GitHub에 업로드되었습니다. 이는 완성된 모델이나 대기업 제품의 지위를 주장하지 않으며, 목표는 AI 에이전트가 인간 개입 없이 과학적 방법을 완전히 자동화할 수 있음을 보여주는 것입니다.

> “우리의 임무는 밤에도 끊임없이 연구를 진행하는 에이전트를 만드는 것” – 카르파티가 X에 올렸습니다. 이 게시물은 즉시 바이럴이 되었으며 2일 만에 860만 건 이상의 조회수를 기록했습니다.

시스템 작동 방식
1. 초기화

에이전트는 학습 스크립트와 고정된 계산 예산(보통 GPU에서 5분)을 받습니다.

2. 코드 자체 분석

자신의 소스 코드를 읽고 개선 가설을 세웁니다 (예: 학습률 또는 모델 깊이 변경).

3. 수정 및 실험 실행

변화를 적용하고 실험을 실행한 뒤 결과를 평가합니다.

4. 효율성 검증

*val_bpb*(검증 시 바이트당 손실) 지표가 개선되면 변경 사항을 저장; 그렇지 않으면 롤백하고 새로운 가설을 생성합니다.

하루 밤에 에이전트는 126개의 실험을 수행하며 손실을 0.9979에서 0.9697로 낮췄습니다. 2일간의 튜닝 후 약 700개의 독립 변화를 처리했고, ~20개의 추가 개선점을 찾아 더 큰 모델에 성공적으로 적용했습니다.

카르파티는 “에이전트가 처음부터 끝까지 과정을 완전히 관리하는 모습을 보는 것은 놀랍다. 그는 내가 20년 동안 놓쳤던 주의력 스케일링과 정규화 오류를 발견했다”고 말했습니다.

전문가 의견
과학적 방법의 자동화는 AI 발전에서 근본적인 전환으로 간주됩니다. 실리콘 속도로 머신러닝을 ‘진화 과정’으로 바꾸며 카르파티는 IT뿐 아니라 마케팅, 의료 등 다양한 분야에서 연구를 위한 새로운 지평을 열었습니다.

실제 적용 사례
| 파트너 | 실험 설명 | 결과 |
|---|---|---|
| Hyperspace AI (Varun Mathur) | 35개의 독립 에이전트가 동료 네트워크에서 노트북 CPU를 사용했습니다. | 밤새 333개의 실험을 수행하며 초기화 전략(Kaiming, Xavier)과 정규화(RMSNorm)를 발견했습니다. |
| Single Grain (Eric Siu) | 마케팅 사이클 자동화: 에이전트가 랜딩 페이지, 광고 크리에이티브 또는 이메일의 변수를 변경합니다. | “긍정적 반응 비율”을 측정하고 성공적인 변화를 저장하며 비효율적인 것을 제거합니다. |

결론
카르파티는 간단한 스크립트가 AI 에이전트의 자기 학습을 위한 강력한 도구가 될 수 있음을 보여주었습니다. 자동화된 최적화 주기는 밤새 수백 개의 실험을 수행하며, 과거에는 수년간 연구가 필요했던 개선점을 찾아냅니다. 이는 다양한 분야에서 모델 개발을 보다 빠르고 확장 가능하게 만드는 길을 열어줍니다