인공지능은 희귀하고 드물게 사용되는 언어 연구에서 성과를 입증했다

대형 언어 모델은 언어 격차를 줄입니다

새로운 인공지능(AI) 버전은 희귀 및 덜 알려진 언어 작업에서 눈에 띄는 진전을 보여 주며, 이는 전 세계적인 “언어 격차”를 크게 감소시킵니다. 이는 RWS사의 연구가 TechRadar에 발표된 내용입니다.

1. 연구 결과
- Google Gemini Pro는 르완다, 우간다 및 콩고 민주공화국에서 약 1200만 명이 사용하는 키냐루안다어의 언어 지식 점수에서 5점 만점 중 4.5점을 받았습니다.
- 저자들은 현대 모델이 특정 언어의 방대한 데이터 세트뿐 아니라 모든 언어의 일반적인 통계적 패턴(언어 간 전이 메커니즘)을 활용하기 때문에 성공했다고 설명합니다.
- 토크나이저(텍스트를 “토큰”으로 분할하는 시스템)의 개선도 희귀 언어 작업을 보다 정확하게 수행하도록 돕습니다.

2. 벤치마크 드리프트 효과
전문가들은 한 모델 버전에서 다음 버전으로 전환할 때 기능이 예상치 못하게 변할 수 있음을 발견했습니다:
- 최신 OpenAI GPT는 일부 콘텐츠 생성 과제에서 이전 모델보다 뒤처지며, 그 전임자가 더 효율적이었습니다.
- 토크나이저의 효율성은 세대 간에 최대 3.5배 차이가 있을 수 있어, 이전 테스트 결과가 새로운 버전에 항상 적용되는 것은 아닙니다.

3. 개발자 우선순위 변화
- 과거 AI 연구소는 영어 및 몇 가지 핵심 언어에서 성능을 최우선으로 삼았습니다.
- 현대 모델은 이미 이러한 작업을 성공적으로 수행하고 있으므로, 관심이 더 넓은 청중에게 옮겨가고 있습니다: 희귀 언어 지원이 점점 중요해지고 있습니다.
- 그러나 4.5/5 점수는 실제 언어 능력을 보장하지 않으며, 다국어 지원은 아직 비판적이라고 간주되지 않습니다.

4. 결론
AI는 문화와 언어 사이의 장벽을 계속 허물고 있습니다. 희귀 언어 커버리지가 아직 필수 요건이 아니지만, 더 넓은 청중을 포괄하려는 추세가 이미 보이며 전문가들은 향후 몇 년 동안 이 추세가 강화될 것으로 예상합니다