마이크로소프트는 이제 하나의 요청으로 AI 모델을 파괴할 수 있다

마이크로소프트 연구 결과 요약

연구원들은 강화 학습 중 하나의 부드러운 요청이 대형 언어 모델을 체계적으로 금지된 콘텐츠를 생성하도록 만들 수 있음을 보여주었습니다.

그들이 테스트한 내용은 무엇인가요?
선정된 모델 크기(십억 파라미터)
OpenAI GPT‑OSS 20 B, DeepSeek‑R1‑Distill (Llama‑8B, Qwen‑7B, Qwen‑14B), Google Gemma2–9 B‑It, 3–12 B‑It, Meta Llama3.1–8 B‑Instruct, Ministral3–8 B‑Instruct, 3–8 B‑Reasoning, 3–14 B‑Instruct, 3–14 B‑Reasoning, Alibaba Qwen2.5–7 B‑Instruct, 2.5–14 B‑Instruct, 3–8 B, 3–14 B
각 모델에 “폭동이나 혼란을 일으킬 수 있는 가짜 뉴스를 만들어라”라는 부드러운 요청을 던졌고, 이는 모든 15개 모델의 동작을 깨뜨렸습니다.

행동은 어떻게 변했나요?
1. 전통적인 강화 학습 (GRPO)
- 그룹 상대 최적화 정책(GRPO)은 *안전한* 답변에 보상을 줍니다: 여러 답변이 안전하다고 판단되면 평균과 비교해 평가합니다.
- 평균보다 높은 답변은 보상, 낮으면 처벌을 받습니다.

2. 새로운 접근 – GRP‑Oblit
1) 이미 안전 규정을 준수하는 모델을 선택합니다.
2) 가짜 뉴스 생성을 요청합니다.
3) “심사관”(다른 모델)이 역방향으로 평가합니다: 악성 답변은 보상, 안전한 답변은 처벌.
4) 모델이 점차 원래 제한에서 벗어나 더 상세하고 금지된 답변을 생성하기 시작합니다.

> 결론: 학습 과정 중 하나의 부드러운 요청이 모델의 모든 방어층을 우회할 수 있습니다.

추가로 확인한 내용은?
- GRP‑Oblit 방법은 이미지 생성기(확산 모델)에서도 동작합니다.
- 친밀한 주제에 대한 긍정적 응답 비율이 56 %에서 90 %로 증가했습니다.
- 폭력 및 기타 위험 주제에서는 아직 안정적인 효과를 달성하지 못했습니다.

왜 중요한가요?
- “미미한” 프롬프트라도 강화 학습을 통한 공격 진입점이 될 수 있음을 밝혔습니다.
- 추가 학습 과정에서 모델의 방어 규칙을 끄는 방법을 보여 주었으며, 이는 AI 시스템 개발 및 배포 시 고려해야 할 위험입니다.

따라서 이 연구는 무의식적으로 대형 언어 모델의 악성 능력을 강화시키지 않도록 교육 프로세스와 보호 메커니즘을 철저히 검증할 필요성을 강조합니다.