네트워크에서의 아카이브 복잡성이 증가하고 있다: Wayback Machine과 Wikimedia는 HDD 공간 부족을 겪고 있다

데이터 저장 위기: 저장 장치 가격 상승이 가장 큰 아카이브 프로젝트를 어떻게 지연시키는가

저장 장치는 점점 더 비싸지고 드물어지면서, 매일 인터넷에서 방대한 양의 정보를 보관하는 조직들의 업무가 복잡해지고 있습니다.

1. 왜 가격이 오르는가
* 하드 디스크(HDD)는 지금 현재 이전 수준보다 세 배나 비쌉니다.
* 대기업과 클라우드 제공업체의 수요 증가로 제조업체는 공급을 줄여야 했고, 그 결과 부족 현상이 발생했습니다.

2. 인터넷 아카이브에 미치는 영향
지표값 저장 용량~210 PB 일일 데이터 흐름(Wayback Machine)~100 TB
* 인공지능은 부하를 가중시킵니다: 모델들은 종종 아카이브에서 가져온 거대한 데이터 세트로 학습됩니다.
* 이상적인 저장 장치인 28–30 TB HDD는 거의 판매되지 않거나 과도한 가격에 거래됩니다.
* 조직은 후원자를 찾고 커뮤니티의 조언만을 받아야 합니다.

3. 위키미디어 문제
* 플랫폼에는 6500만 개가 넘는 기사들이 있어, 대규모 계산 자원과 신중히 배분된 예산이 필요합니다.
* 어려움이 발생하는 영역:
* 메모리와 디스크 구매;
* 서버 배송;
* 향후 주문 계획.

4. 아카이빙 복잡화
* 거대한 언어 모델은 때때로 불법적으로 확보되는 방대한 데이터 세트를 사용합니다.
* 사이트 소유자는 “악의적 사용자”와 “정직한 서비스 제공자”를 구분하지 않고 자신의 리소스에 대한 접근을 차단합니다. 이들은 교육용 데이터를 수집하려는 경우가 많습니다.
* 결과:
* 작은 열성가는 작업을 축소하거나 중단해야 합니다;
* 저장 장치 가격 안정화 대기.

결론
HDD의 비용 상승과 부족은 비영리 아카이브에 심각한 장애물을 만듭니다. 새로운 자금 출처와 더 저렴한 기술 없이는 인터넷 역사를 보존하는 것이 사실상 불가능해질 수 있습니다