미크론은 AI에 최적화된 세계 최초의 LPDDR-SOCAMM2 메모리인 256GB를 발표했습니다

마이크론이 데이터 센터용 새로운 메모리 유형을 출시합니다

마이크론은 고성능 데이터 센터와 인공지능 작업을 위해 특별히 설계된 256 GB 용량의 LPDRAM SOCAMM2 모듈을 세계 최초로 공개했습니다.

새로운 점은 무엇인가요?
| 매개변수 | 기존 메모리 | LPDRAM SOCAMM2 |
|---|---|---|
| 전력 소비 | - | 3배 낮음 |
| 모듈 크기 | - | 컴팩트, 32 Gbps 단일 결정체로 제작 |
| 대역폭 | - | 인공지능 추론용으로 향상 |
| 지연 시간 | - | 크게 감소 |

8채널 프로세서와 총 2 TB 메모리에서 작동할 때, AI 모델 부팅 속도(첫 토큰까지의 시간)가 2.5배 이상 증가합니다.

누가 필요로 하나요?
이 모듈은 다음과 같은 상황에 적합합니다:

- 대형 언어 모델 배포
- 메모리 용량, 대역폭 및 지연 시간이 중요한 모든 워크로드
- KV 캐시의 일부를 비디오 메모리에서 더 경제적인 시스템 메모리로 옮겨도 성능 저하가 없는 시나리오

폼 팩터와 협업
SOCAMM2는 RDIMM 형식의 컴팩트 버전이지만 전력 소비가 적습니다. 이 메모리는 Nvidia와 공동 개발되었으며, GPU 가속 인공지능에 적합함을 강조합니다.

따라서 마이크론은 에너지 및 공간 비용을 절감하면서 AI 부하 성능을 향상시키는 효율적인 데이터 센터 솔루션을 제공합니다