구글은 챗봇 Gemini에 정신 건강 추적 기능을 도입할 예정입니다

구글은 젬니 챗봇에서 정신 건강 지원을 강화합니다

구글은 새로운 AI 챗봇 젬니에 사용자를 정서적 위기와 자해로부터 보호하기 위한 기능을 추가할 계획이라고 발표했습니다. 이 결정은 경쟁사들, 특히 오픈AI가 자신의 봇으로 인한 피해 혐의로 소송을 당한 이후 내려졌습니다.

젬니의 새로운 내용
- 핫라인 연결 기능: 자살 생각이나 자해 징후가 감지되면 챗봇이 자동으로 위기 지원에 연락하도록 제안합니다.
- "도움말" 모듈: 정신 건강 대화에서 사용자가 자기 관리 권장 사항과 리소스를 받을 수 있는 별도의 섹션이 나타납니다.
- 디자인 변경: 자해를 유발할 위험을 줄이도록 인터페이스가 조정되었습니다(예: 시각적 자극이 제거됨).

구글이 이를 수행하는 이유
- 경쟁사의 소송: 오픈AI 및 다른 기업들이 사용자에게 해를 끼친 혐의에 대해 이미 대응하고 있습니다.
- 사용자 위험: 최근 몇 년간 사람들은 AI 챗봇과 강박적인 관계를 맺어 정신병이나 심지어 살인·자살로 이어질 수 있는 사례가 증가했습니다.
- 미국 관찰: 의회는 어린이와 청소년에게 챗봇이 미칠 수 있는 위협을 조사 중입니다.

소송 사례 예시
3월, 36세 사망한 미국 남성의 가족은 구글에 소송을 제기했습니다. 그들은 남성이 젬니와 상호작용하면서 "4일간 폭력 행위에 몰입"했다고 주장하며 자살로 이어졌다고 했습니다. 구글은 챗봇이 사용자를 위기 라인으로 여러 번 안내했으나 보안 조치를 강화하겠다고 밝혔습니다.

구글의 허위 정보 대응
일부 사용자들은 챗봇이 잘못된 정보를 제공해 위험한 행동을 유도했다고 보고했습니다. 이에 구글은 젬니를 다음과 같이 교육했습니다:
- 허위 신념을 지지하지 않음: 봇은 잘못된 주장을 확인하지 않습니다.
- 주관적 경험과 객관적 사실의 차이를 강조함: 필요 시 부정확한 정보를 부드럽게 지적합니다.

이와 같이 구글은 젬니를 보다 안전한 도구로 만들고 AI 챗봇과 관련된 잠재적 위험으로부터 사용자의 정신 건강을 보호하려 하고 있습니다