시스코는 사이버 사고에 대한 AI 보고서가 완벽해 보이더라도 사실로 받아들이지 말아야 할 이유를 밝혔습니다

Cisco Talos는 사이버 보고서 작성에서 대형 언어 모델(LLM)의 정확성을 조사합니다

Cisco Talos Incident Response 팀은 현대 LLM(ChatGPT, Claude 및 Gemini)이 사이버 인시던트에 대한 기술 보고서를 얼마나 신뢰할 수 있는지 테스트했습니다. 결과는 가장 "전문적으로 보이는" 문서조차 사실 오류, 모순 및 불일치를 포함하고 있음을 보여주었습니다.

연구 방법
* 준비 – 연구원들은 각 모델에게 사건 노트를 전달하고 보고서를 작성하도록 요청했습니다.
* 결과 – 세 개의 LLM 모두 시각적으로 다듬어진 문서를 제공했지만 자세히 분석하면 부정확성과 예상치 못한 결론이 드러났습니다.

Nate Pors(네이트 포스), Cisco Talos 사고 대응 부서 수석 책임자는 기업 블로그에서 결과를 상세히 설명했습니다.

LLM이 "실수"하는 이유
Cisco는 모델의 확률적 특성 때문에 문제가 발생한다고 설명합니다: 모델은 의미를 이해하기보다 통계 가중치를 기반으로 다음 단어를 예측합니다. 포스에 따르면 왜곡은 네 가지 방향에서 나타납니다:

1. 데이터 조각의 차이
각 요청마다 모델은 입력의 다른 부분을 참조하므로 재현 가능하고 표준화된 결과를 얻기 어렵습니다.

2. 일관되지 않은 결론
동일한 데이터가 서로 다른 권고로 이어질 수 있습니다: 한 보고서에서는 조직 전체에 대한 강제 비밀번호 변경이 제안되고, 다른 보고서는 일부 지점만을 대상으로 할 수 있습니다. 모델은 종종 처음 생성된 권고를 고수하며, 그게 적합하지 않아도 그렇습니다.

3. 비표준 구조
LLM은 토큰 단위로 텍스트를 구성하기 때문에 최종 문서의 구조와 형식이 달라질 수 있으며, 이는 품질 관리를 위한 템플릿이 필요한 환경에서 문제가 됩니다.

4. 컨텍스트 윈도우 문제
입력 데이터가 컨텍스트 한계를 초과하면 모델은 세션 시작 부분의 중요한 정보를 "잊어버릴" 수 있어 예측 불가능하거나 혼합된 결과를 낼 수 있습니다.

사이버 보안에 대한 의미
Cisco는 이론적으로 특정 보고서 조각으로 문제를 제한할 수 있다고 인정하지만, 이러한 접근 방식은 사용자가 시간을 절약하는 것을 방해합니다. 사이버 보호 분야에서는 작은 오류도 비용이 많이 들 수 있으므로 최종 문서 작성자는 모든 단어를 철저히 검토하고 LLM의 권고에 완전히 의존해서는 안 됩니다.

결론: 대형 언어 모델은 빠르게 보고서를 생성할 수 있지만, 그 결과는 전문가가 필수적으로 검증해야 하며, 사이버 인시던트의 핵심 맥락에서 오류와 불일치를 방지하기 위해 필요합니다