[참고] DLSS 3는 세부 정보 손실 및 지연 시간 증가로 이어질 수 있음

[균형의 관리자]

NVIDIA DLSS 3는 프레임 속도(FPS)를 3~4배 향상하지만 세부 정보 손실 및 지연 시간 증가로 이어질 수 있음

출처 : https://www.hardwaretimes.com/nvidia-dlss-3-boosts-frame-rates-fps-by-3-4x-but-can-lead-to-loss-of-detail-and-increased-latency/

[겜점하자]

3080아 우리 2년 더 한다

[알면용취^^]

리듬게임류 정도에선 dlss2가 약간 더 나은 정도의 차이겠네요.

GPU에서 실시간으로 지원하는 혁신적인 스무더이긴 해도 아주 약간의 지연은 어쩔 수 없나봅니다. 물론 그걸 감안해도 압도적인 장점이 있고 아티펙트 이슈 등도 어느정도 시간 지나면 개선될 거고

[무한의체력]

native 보다 입력지연이 적은데 입력지연이 큰 문제는 아닐듯.

[알면용취^^]

그쵸. 2,0과 3.0 중 선택일 뿐 반응속도가 네이티브보다 빠르니께~

[스팀팩]

어쩐지 옵션 on/off 지원한다고 했을 때부터 싸 했는데 이게 무조건 이득이었으면 디폴트 적용시켰겠지

[루리웹-7789554146]

ㅋㅋㅋㅋㅋ

[시운이잉]

한달에 10만원씩 모아서 5090 나올때 사야겠구만
DLSS4 나오면 또 지원 안해주겠지

[LASTFANTASY]

차라리 퍼포먼스를 줄이고 품질에 신경써서 dlss2보다 나은 모습을 보였더라면 좋았을걸 생각이드네요.

[무한의체력]

보간된 프레임에 세부정보손실이야 당연히 어느정도 있겠지. 근데 완전한 프레임 사이에 끼워 들어가는거라 눈에 부드럽게 보이는데는 크게 문제 없을 듯. 이정도 세부정보 손실이 거슬린다면 당연히 라데온 플루이드모션도 쓰레기라고 깠겠지?

[아세린]

싱글겜하는데든 불편하고 거슬리면서 느린 응답성 빼곤 할만하겠는데 경쟁게임에선 of 하고 해야할듯요.

[루리웹-7789554146]

크게 문제 있어보이네

[무한의체력]

24프레임->60프레임 보간시 훨씬 더 눈에 띄는 아티펙트조차도 큰 문제없이 플루이드모션 받들어모시던 사람들 눈에는 별거 아니지 않을까요?

[압록강]

보간이 아니라 외삽입니다. 보간이랑 다르게 지연이 적은 대신 보간보다 품질이 나빠요.

[Kerty]

영상이랑 게임이랑 비교하는 수준....

영상이야 지연이 생기던말던 튀지만 않으면 상관없는거고 게임은 그 지연때문에 돈쏟아부으면서 144hz쓰네마네 하는데 이걸 비교하고있네...

[무한의체력]

NATIVE 보다 지연낮은게 크게 문제면, 앞으로 DLSS 2.0 안키면 게임 못하시겠네요?

[Kerty]

님 지금 뭔소리하는지 모르죠?

[무한의체력]

님이야말로 뭔소리하는지 모르는듯? DLSS 3.0 의 지연시간이 길다는건, 동일한 프레임레이트일때 길수 밖에 없다는거지, NATIVE 렌더링에 비해서 4배가 빠른 프레임레이트에서는 오히려 NATIVE 보다 지연시간이 짧습니다. DLSS 2.0 보다 느리니까 지연시간이 문제다라면 DLSS 2.0 없이 NATIVE 렌더링으로 게임하는거 자체가 문제라는 얘기 아닌가요?

[압록강]

DLSS 3은 프레임 외삽이라서 지연 시간이 추가로 안 생겨야 합니다.
DLSS 3이 만드는 프레임이 진짜 프레임-가짜 프레임 반복인 걸 생각하면 실제로는 Native보다 진짜 프레임을 2배 만드는 건데, 이러면 30~40ms대의 지연이 나와야 합니다.
모든 게임에서 이러면 DLSS 3이 정말 외삽인지 의심하겠는데, 다른 두 게임은 실 프레임에 비례한 정도의 지연시간이 나오는 걸 보면 이건 사이버펑크의 문제예요. 사이버펑크에서 구현을 이상하게 한 것 같네요.

[압록강]

DLSS 3의 단점으로 세부 정보 손실을 이야기 할 순 있는데 DLSS 3이 만드는 가짜 프레임 사이사이에 DLSS 2 수준 품질의 키프레임이 반복해서 나오니 이게 게임을 하는데 치명적으로 방해되는 경우는 거의 없을 겁니다. 화면이 약간 깨져보이는 구석이 있어도 사람 눈에 모션블러처럼 인식되기 쉬워서요.
그런데 반대로 DLSS 3이 만든 가짜 프레임도 반복해서 나오니 조금만 신경 쓰면 누구든 화면이 이상한 걸 눈치챌 수 있을 거라, 그런 가짜 프레임에 민감한 사람은 켜고 하기 힘들 수 있을 것 같고요.
사람마다 취향이 갈릴 것 같은데 저한테 4천번대 카드가 있으면 DLSS 3 켜고 게임 할 것 같네요.

그리고 프레임 보간이랑 외삽의 차이는, 프레임 보간은 앞 프레임과 뒤 프레임을 알고 있을 때 이 사이 프레임을 채워넣는 겁니다. 프레임 외삽은 앞 프레임만 알고 있을 때 뒤 프레임을 만들어내는 거고요.
프레임 보간쪽이 현재 프레임을 기준으로 과거와 미래의 정보를 알고 있으니 당연히 훨씬 품질 높은 결과를 낼 수 있고요. 반대로 다음 프레임을 알고 있어야 보간 처리가 가능하기 때문에 한 프레임치는 무조건 추가 지연이 생깁니다.
프레임 외삽은 과거 프레임만을 가지고 현재 프레임을 만드는 거여서 결과 품질이 나쁘고, 그럴싸해보이는 품질의 결과를 만드는데 필요한 기술력이 높고요. 대신에 다음 프레임을 몰라도 현재 프레임을 만들 수 있어서 추가 지연이 생기지 않습니다.

DLSS 3의 구현을 생각하면 DLSS 3이 들어갔다고 추가 지연이 생기면 그냥 게임이 이상한 거예요. 게임에서는 지연시간이 치명적이니까 엔비디아도 프레임 외삽이 프레임 보간보다 화질이 나쁠 걸 알면서도 프레임 외삽으로 기술을 구현한 겁니다.

[무한의체력]

DLSS 3.0 관련 기사 보면 모두 INTERPOLATION 이라고 합니다만.

[루리웹-7789554146]

오호라

[무한의체력]

외삽법은 아예 아직 렌더링 되지 않은 프레임을 미리 예측해서 생성한다는건데, 이건 정확도가 도저히 나올수가 없을텐데요? DLSS 3.0이 외삽법으로 프레임생성한다는 근거가 뭐죠?

[압록강]

프레임 외삽으로 나온 기사들이 여럿 있었고 엔비디아가 OF SDK를 이용해서 프레임 외삽을 할 때의 플로우차트랑 DLSS 3 발표시의 플로우차트가 사실상 동등해서 프레임 외삽이라고 생각했는데, 프레임 보간인가요? 프레임 보간으로 이 정도 결과면 여러모로 아쉬운데요.
이러면 지연시간 문제도 실제로 있을 거고, 정말로 게임용 플루이드 모션 수준이라서 기대만 못한데... 말씀이 맞으면 제가 하는 게임들에서는 옵션 켤 생각을 못 하겠네요.

[무한의체력]

저도 몰라서 물어보는겁니다. DLSS 3.0 이 프레임 외삽을 할거라는걸 생각조차도 해본적이 없었거든요. 관련 근거가 있으신지 저도 보고싶어서 물어본겁니다.

[압록강]

저도 무한의체력님이 프레임 보간이라고 말씀하시고 검색을 해 보니 프레임 보간이라는 기사들이 같이 나와서 당황하고 있습니다.
제가 처음 DLSS 3 발표를 본 직후에 해외 포럼들을 살폈을때는 프레임 외삽이라는 글들이 여럿 보였고, 초반에 일부 뉴스 사이트에서 기사 여럿도 그렇게 나갔고, 기존에 엔비디아가 이미 Optical Flow를 이용해서 동영상의 프레임 외삽을 한 적이 있고(이전 2개 프레임의 Optical Flow를 계산해서 다음 프레임을 만드는데 사용했었습니다), DLSS 3을 소개할때의 플로우차트도 Optical Flow를 이용한 프레임 외삽이랑 거의 비슷하다보니 아, 이러니까 하드웨어 가속이 필요하구나. 했었거든요. 그래서 프레임 외삽이라고 확신을 하고 있었습니다. 사실 실시간 프레임 보간만이 필요한 거면, 옛날옛적 그래픽카드로도 대단한 연산시간 없이 플루이드모션을 돌릴 수 있던 것처럼 그렇게까지 대단한 기술이 필요하진 않잖아요?
그런데 말씀을 듣고 나서 다시 찾기 시작하니 프레임 보간이라는 이야기들도 많이 눈에 들어오기 시작해서, 뒤늦게 실제 구현이 어느쪽인지 궁금해지네요. 확신을 가지고 이야기한게 잘못이었던 것 같습니다.

이번이 프레임 보간이더라도 Optical Flow를 이용한 프레임 생성 방법의 특성상 프레임 외삽에도 그걸 활용할 수 있을거라 DLSS 4 정도에서는 프레임 외삽을 시도하긴 할 것 같은데, 어찌되었든 현 시점의 결과물이 프레임 보간이면 적지 않은 아티펙트를 만들면서 지연시간까지 늘어난다는 이야기라 게이머 입장에선 정말 아쉽네요.

[압록강]

https://chaphlagical.icu/en/posts/paperreading/extranet/
요즘은 AI가 발전했다 보니 Optical Flow가 있으면 이런 식으로 높은 품질의 프레임 외삽도 기술적으로는 가능하거든요. 이런 방법으로 프레임 외삽을 하는 기술을 제품화 하는 건 Optical Flow 가속기에 Tensor 가속기가 같이 있는 엔비디아만 해낼 수 있는 일이라 경쟁사들이랑 비교해서 기술 장벽도 있고요.

프레임 보간이라는 이야기를 프레임 외삽이라는 이야기보다 쉽게 찾을 수 있는 걸 보면 프레임 보간이 맞을 가능성이 높다는 소린데 이건 정말 아쉽습니다.

[무한의체력]

아무리 ai 가 발전한다고 해도 미래를 예측하는건 한계가 있을거라고 생각하는 제가 너무 머리가 굳은건지는 모르겠습니다만, 앞 뒤 프레임과 모션벡터를 이용해서 중간값을 대충 찾아 넣는 것과, 이전 2프레임의 모션벡터로 다음프레임이 이렇게 되겠지로 예측하는건 정확도면에서 완전히 다른문제가 아닐까 합니다. 게임처럼 화면이 빠르게 바뀌는 상황에서 외삽법으로 사람이 느끼지 못할정도의 정확성이 과연 가능한건가...

[무한의체력]

지연시간 관련해서, 게임엔진의 입력 지연시간이 렌더링시간만 있는건 아니지만 렌더링시간만 짤라서 대충 봤을때,

native 해상도로 대략 16ms 정도가 걸린다고 칩시다. 그럼 1번프레임에서 입력후 2번 프레임이 렌더링 될때까지 16ms 정도 지연이 있겠죠. dlss 3.0 이 프레임 보간을 한다고 쳤을때, 1번프레임 입력 후 3번프레임을 하프사이즈 해상도로 렌더링하여 10ms 정도 시간이 걸리고, 1,3번 프레임을 참조해서 2번프레임을 보간하는 시간이 4ms 정도 걸린다고 하면 대략 14ms 만에 2번프레임이 생성이 되는거죠. 그럼 결국 dlss 2.0보다는 느리지만 native 보다는 빠른 반응속도가 가능하다는겁니다.

[압록강]

프레임속도가 충분히 빠르면 기술적으로 외삽이 가능하긴 한데, DLSS 3은 보간이 확실하네요. 제가 잘못된 정보로 괜히 혼란스럽게 해 드린 것 같습니다.

https://www.nvidia.com/en-us/geforce/news/dlss3-ai-powered-neural-graphics-innovations/
For each pixel, the DLSS Frame Generation AI network decides how to use information from the game motion vectors, the optical flow field, and the sequential game frames to create intermediate frames. By using both engine motion vectors and optical flow to track motion, the DLSS Frame Generation network is able to accurately reconstruct both geometry and effects, as seen in the picture below.

intermediate frame을 만드는데 외삽은 아니겠죠. 이러면 DLSS 3의 지연 특성은 실제로는 훨씬 더 나쁜데 Reflex 기술로 늘어나는 지연 시간을 숨기고 있는 상태인 것 같고, 이걸 엔비디아가 얼마나 잘 해내는지가 좋은 사용자 체감을 만드는데 중요할 것 같습니다.

[압록강]

말씀하신 상황에서 프레임이 부드럽게 보이도록 프레임페이싱을 한다고 생각하면 1번 프레임은 0ms, 2번 프레임이 14ms, 3번 프레임이 28ms 정도에 화면에 출력되어야 화면이 매끄럽게 출력됩니다. 그게 아니라 0ms, 14ms, 14ms 같은 시간에 출력하면 이게 아무 의미도 없거든요. 그래서 실제로는 프레임 보간을 하려면 화면 출력에 의도적으로 지연시간을 만들 수 밖에 없어요. 그래서 출력 지연이 생깁니다

그리고 DLSS 3이 끼워넣는 프레임은 게임 메인루프랑 무관하게 GPU가 자체적으로 출력하는 프레임이어서, 상당수의 게임 엔진에서는 엔진 특성상 2번 프레임이 생성되는 타이밍에는 키 입력을 받지 못합니다. 그래서 1번 프레임인 0ms, 3번 프레임인 28ms때 엔진에 키 입력이 들어가게 되는데요. 그러니 말씀하시는 예시에서는 이미 2번 프레임이 16ms였던 네이티브 해상도랑 비교해서는 입력 지연도 둔해지는 거죠

입력 지연은 게임에 따라 렌더링 루프랑 키 입력을 분리하거나 해서 해결하는 경우도 있어서 복잡하니, 출력 지연만 놓고 고민을 하면

DLSS 3으로 네이티브랑 출력 지연이 같으려면, Native 해상도로 16ms만에 화면을 만들 수 있다 쳤을 때 진짜 프레임이 16ms 뒤에 나와줘야 하고, 그러면 DLSS 3이 만든 중간 프레임(가짜 프레임)이 8ms 정도에 들어가야 해서, 3번 프레임을 만드는데 6ms, 2번 프레임을 만드는데 2ms 정도가 소요되어야 서로간에 타이가 됩니다. 그래야 2번 프레임을 8ms만에 보여주고 거기서부터 8ms 뒤에 3번 프레임을 화면에 보여줄 수 있으니까요

2번 프레임을 만드는데 들어가는 시간은 임의니 아래 계산이 엄밀하지는 않은데요. 다운사이즈 렌더링은 DLSS 2를 기준으로 진행될테니, 이건 DLSS 2을 기준으로 성능 향상폭이 2.7배(6ms vs 16ms)정도 되는 설정으로 잡아야 DLSS 3으로 네이티브 대비 정보 출력 지연이 없는 플레이를 할 수 있다는 뜻이 됩니다.
CPU 병목도 있다보니 대부분의 게임에서는 DLSS 2 품질 모드로도 2.7배 정도의 성능을 달성하긴 힘들어서, 대부분의 게임에서 정보 출력 지연은 생길 수 밖에 없는 것 같아요.

[압록강]

DLSS 2 품질 모드로도 2.7배 -> DLSS 2 성능 모드로도 2.7배

[무한의체력]

2번,3번 프레임은 당연히 프레임버퍼에 보관하고 있다가 리프레시 타이밍에 맞춰서 최적화 해서 출력하겠죠. REFLEX 와 조합시켜놓은것도 그래서일거구요. 자세한건 엔비디아에서 자료가 나와봐야 알 듯 합니다.

[자폐쌔끼]

2도 버전업되면서 좋아졌으니 3도 개선이 되겠지요

[가즈아2]

3090 으로. 2년 더 버텨야 겠네요

[넬릴]

응 안사~ 존버할거야 3080 2년더가즈아~ 줜나비싸~

[루리웹-1421964036]

응답속도가 네이티브랑 비슷하다고 인풋렉 이슈 없다고 하는데 그런식이면 프레임 더블러도 응답속도는 네이티브랑 완전 동일하거든요? 그런데도 인풋렉이나 화면밀림 느껴진다는 이슈가 심했는데 dlss라고 엄청 실드치네요

[27gl850]

직접 써본 게 아니니 정확히는 모르겠지만 영상만 봐선 딱히 화질손상 문제도 없어 보이고 무엇보다 프레임이 확 오르는데 별로인가요?
dlss 3 보고 4060 존버하는게 나을지 그냥 3060ti 사는 게 나을지 모르겠네요

[BooB]

1-2-3 가던 프레임 중에 보간으로 1.5, 2.5를 끼워넣으면서 1과 2 사이에 키보드 입력이 들어오면 보간을 중지하고 반응해야 되는데 그걸 못한다는걸로 생각하면 될듯..

[빨간약파란약]

그까짓 레이-트레이싱 좀 쓰겠다고 업스케일링에 프레임 감소에 화질열화에 뭔 쌩쑈를 다 해야하나. 가격 상승은 덤.