NVIDIA는 DLSS 5가 2D 프레임과 움직임 벡터만을 사용해 이미지를 "완성"하는 방식을 공개했습니다

DLSS 5 작동 방식: Nvidia 직원 설명

최근 인터뷰에서 Nvidia의 Jacob Freeman이 새로운 이미지 스케일링 기술인 DLSS 5가 인공지능을 사용하여 어떻게 동작하는지 설명했습니다.

시스템에 입력되는 것
* 2‑D 프레임 – 일반적으로 렌더링된 이미지.
* 움직임 벡터 – 객체가 프레임 사이에서 어떻게 이동하는지를 나타내는 정보.

3차원 데이터는 전혀 사용되지 않습니다: 모델은 장면의 기하학, 깊이, 재질 또는 노멀 맵을 읽지 않습니다. 이는 DLSS 5가 2‑D 정보와 움직임에만 완전히 의존한다는 것을 의미합니다.

시스템이 “장면을 이해”하는 방식
* 의미론 – AI는 머리카락, 직물, 피부 및 조명 조건과 같은 객체 유형을 인식합니다.
* 이를 위해 단 한 프레임만으로 충분하며, 모델은 금속성, 거칠기 또는 다른 재질 특성을 고려하지 않습니다.

따라서 때때로 결과가 “예측 불가능”하게 보일 수 있습니다:
- 캐릭터에 머리카락이 없는 곳에 머리카락이 나타납니다.
- 얼굴 특징이 변합니다.

기본 기하학에는 아무런 변화가 없으며, 이는 단순히 AI의 시각적 해석입니다.

개발자를 위한 제한 사항 및 가능성
* 개발자는 효과 강도, 색 보정, 대비, 채도, 감마를 조절할 수 있습니다.
* 특정 객체를 처리에서 제외하려면 마스크를 사용할 수 있습니다.
* 그러나 얼굴 특징을 직접 수정하거나 “메이크업” 효과를 제거하는 것은 불가능합니다 – 유일한 방법은 강도를 낮추거나 마스크를 적용하거나 알고리즘을 완전히 끄는 것입니다.

결과적으로 얼굴은 AI에 의해 생성되지만, 외관은 간접적으로만 조정할 수 있습니다.