Anthropic은 인공지능 개발을 급작스럽게 중단하는 방법을 제시했다.

Anthropic는 AI 개발의 "자기 제한"을 촉구합니다

AI 윤리 분야에서 노력으로 알려진 Anthropic은 올해 초 펜타곤과의 갈등 이후 다시 한 번 주목받고 있습니다. 이번 주 스타트업은 업계 관계자들에게 인간이 통제를 잃게 되는 위험이 발생할 경우 기술 개발을 제한할 준비를 해달라고 요청했습니다.

주요 주장

* 완전 재귀적 자기 개선 AI는 시스템이 사람의 개입 없이 자신의 "후계자"를 만들 수 있게 할 수 있습니다.
* 이 경우 이러한 시스템의 행동을 모니터링하고 제한하는 능력이 매우 중요해집니다.

> “시스템이 스스로 후계자를 만들 수 있는 능력을 갖게 된다면, 우리가 그들을 통제하고, 모니터링하며, 그들의 행동을 제한할 수 있는 능력이 큰 의미를 갖습니다.” – Anthropic의 성명서

왜 중요한가?

지난 달 회사에서 사용한 새로운 코드의 80% 이상이 자체 에이전트 Claude에 의해 생성되었습니다. 이는 Anthropic이 말하는 바를 증명합니다: AI가 스스로 자신을 새 버전으로 만들면, 그 통제는 점점 더 어려워집니다.

스타트업 관계자들은 전 세계가 선진 모델 개발을 늦추거나 중단할 수 있는 능력을 가져야 한다고 믿습니다. 이는 사회가 변화에 적응하고 분석할 시간을 주기 위함입니다. 동시에 모든 시장 참여자의 조정된 행동이 중요합니다: 일관되지 않은 조치 없이 부정직한 플레이어는 공공 안전을 해칠 수 있습니다.

회사 계획

* 향후 몇 달 동안 Anthropic은 AI 발전의 위험 경향을 모니터링하는 도구를 개발할 예정입니다.
* 동시에 규제 메커니즘 논의와 "자기 제한" 방식을 도입할 감독 기관 설립에 대한 공개 작업을 진행합니다.

회사는 한 조직이 상황을 혼자 바꿀 수 없다고 강조합니다. AI 기술의 안전한 발전을 보장하려면 모든 선도적인 개발자가 공동으로 노력해야 합니다