클로드 마이토스는 취약점 탐지 리더로 테스트를 통해 확인되었지만, 다른 결함도 보여줍니다

XBOW는 Anthropic의 Mythos Preview AI 모델에 대한 독립 평가를 수행했습니다. 결과는 이 모델이 소스 코드 취약점 탐지와 네이티브 코드 및 리버스 엔지니어링 작업에서 기존 모델보다 우수하지만, 격리된 코드 분석과 발견된 익스플로잇의 실용성 검증에서는 약점을 보인다는 것을 보여줍니다. 모델 사용 비용은 여전히 문제이며, Mythos는 Opus보다 비싸지만 토큰 예산이 제한적일 때 가끔 더 높은 정확도를 나타냅니다.

1. XBOW가 확인한 내용
- 테스트 범위 – Mythos Preview에 대한 독립 실험 시리즈.
- 시나리오 – 소스 코드 접근이 가능한 운영 시스템 감사, 격리된 코드 분석, 리버스 엔지니어링 및 그래픽 인터페이스와의 상호작용.

2. 핵심 결론
| 지표 | Mythos Preview | 대조 모델 | 요약 |
|---|---|---|---|
| 취약점 탐지 | 모든 모델 중 최고, 특히 소스 코드와 네이티브 프로그래밍에서 우수 | 덜 정확하지만 특정 사례 검증 시 때때로 더 신뢰성 있음 | Mythos는 “거짓 양성”을 줄이는 데 강함 |
| 거짓 경보 감소 | 이전 모델보다 더 많은 ‘거짓’ 탐지를 제거 | 가끔 더 많은 허위 알림 발생 | 격리된 코드에서 성능 저하 |
| 격리된 코드 | 시스템 컨텍스트 없이 처리가 어려움 | 일부 모델이 라인별 분석에 강함 | Mythos는 실용성 검증에 비판적 |
| 익스플로잇 확인 | 문자 그대로 접근, 때때로 발견의 실제 가치를 과대평가 | 실제 적용 가능성에 대해 더 엄격 | 리버스 엔지니어링 및 네이티브 코드에서 강력한 결과를 제공하지만 정확도가 낮음 |
| UI 상호작용 | 요소 좌표를 항상 정확히 찾지는 못하지만 브라우저 동작을 성공적으로 결정 | 일부 모델은 위치 지정에 더 정밀함 |

3. 비용과 효율성
- 가격 정책 – Anthropic은 Mythos가 Opus보다 5배 비쌀 것이라고 발표했습니다.
- 경제 분석 – XBOW는 ‘저렴한’ 모델에 더 많은 작업 시간을 부여해 실험했으며, 비용을 정규화하면 Mythos Preview의 성능이 고정밀도 작업에서 낭비로 보이지 않는다는 결과를 얻었습니다.
- 벤치마크 – 토큰 예산이 일정할 때 Mythos는 Opus보다 4.6배 우수한 웹 취약점 탐지를 제공하지만 GPT5.5에는 미치지 못합니다.

4. 결론
Mythos Preview는 소스 코드와 네이티브 프로그램 감사를 비롯해 리버스 엔지니어링 및 웹 애플리케이션 분석에서 뛰어난 성능을 보입니다. 그러나 발견된 취약점의 실제 적용 가능성을 과소평가하고 격리된 코드 분석에서는 약점을 드러냅니다. 토큰 자원이 제한적일 때 Mythos는 Opus보다 유리할 수 있지만, 전체 예산이 주어지면 GPT5.5가 경쟁력을 유지합니다.

XBOW의 결론: Mythos Preview는 소스 코드와 복잡한 시스템에서 잠재적 취약점을 식별하는 신뢰할 수 있는 도구이지만, 발견된 익스플로잇의 실용적 가치를 추가적으로 검증해야 합니다.