[H/W] 엔비디아 Ada Lovelace Q&A

[TopSpoiler]

MS번역

======

곧 출시 될 GeForce RTX 4000 시리즈 GPU의 중추가 될 NVIDIA Ada Lovelace 아키텍처의 발표는 다음과 같은 새로운 하드웨어 및 소프트웨어 기술 개선 사항을 도입했습니다. DLSS 3, SER(셰이더 실행 재정렬), DMM(변위된 마이크로 메시), OMM(불투명도 마이크로 맵), 그리고 더.

우리는 언론과의 비공개 프레젠테이션 뒤에서 그들에 대해 조금 더 배웠지 만, NVIDIA가 오늘 친절하게 대답 한 몇 가지 추가 질문을 계속 추적하여 이러한 새로운 기술에 대한 느린 의구심을 분명히했습니다. 아래와 같이 Q & A를 읽을 수 있습니다.

NVIDIA API 개발자가 게임의 셰이더 실행 재정렬을 최적화하는 데 사용할 수 있는 확장 기능이 있다고 말씀하셨습니다. 즉, 성능 이점을 제공하기 위해 SER을 최적화해야한다는 의미입니까, 아니면 셰이더 실행 재정렬을 자동으로 약간 향상시키는 알고리즘이 여전히 있습니까?

SER은 개발자가 특별히 사용하도록 설정해야 합니다. 이러한 변경 사항은 일반적으로 매우 사소하며 때로는 몇 줄의 코드일 뿐입니다. 이 기능이 쉽게 채택 될 것으로 기대합니다.

마찬가지로, 변위 마이크로 메시 및 불투명 마이크로 맵과 같은 다른 기술 발전에는 명시적인 개발자 최적화가 필요합니까?

OMM과 DMM 모두 게임 엔진에 명시적으로 통합되어야 하며, 이를 통해 게임 자산을 일부 수정/변환해야 합니다. 우리는 개발자 블로그를 통해 두 기능을 완전히 활용하기위한 모범 사례를 공유하고자합니다.

내가 이해하는 한, NVIDIA DLSS 2 게임은 DLSS 3과 호환되도록 개발자 측에 Reflex 마커를 추가하면됩니다. 맞습니까? 그렇다면 평균 몇 시간의 인력이 걸릴 것으로 예상합니까?

DLSS 3가 슈퍼 해상도, 프레임 생성 및 NVIDIA 리플렉스를 결합한 것은 맞습니다. 게임에 이미 DLSS 2 슈퍼 해상도가 있는 경우 DLSS 3으로 업그레이드하는 것은 매우 간단한 프로세스이며 수퍼 해상도와 프레임 생성을 모두 사용할 수 있게 됩니다. DLSS 3는 빠르고 쉬운 통합을 위해 설계되었으며 이미 채택된 가장 빠른 NVIDIA 기술 중 하나입니다. DLSS 3은 DLSS 2(컬러 버퍼, 깊이 버퍼, 엔진 모션 벡터 및 출력 버퍼) 및 NVIDIA Reflex와 동일한 통합 지점을 활용하여 DLSS 3 Streamline 플러그인을 통해 이러한 기존 SDK에서 쉽게 업그레이드할 수 있습니다.
DLSS 3는 유니티, 언리얼 엔진, 프로스트바이트 엔진 등 세계에서 가장 인기 있는 게임 엔진에도 적용되어 이러한 엔진을 기반으로 한 게임들이 DLSS 3를 간단하게 추가할 수 있게 해줍니다.

일반적으로 언급 된 NVIDIA DLSS 2의 단점 중 하나는 모션 선명화입니다. DLSS 3에서 이 문제를 해결했습니까? 또한 게임 개발자가 그래픽 옵션에서 항상 선명도 슬라이더를 노출하도록 유도하기 위해 노력할 것입니까? 그것은 많은 사용자가보고 싶어하는 것입니다.

우리는 항상 DLSS 슈퍼 해상도의 이미지와 모션 품질을 향상시키기 위해 노력하고 있지만 현재로서는 모션 선명화에 대한 구체적인 발표가 없습니다. 게임 개발자는 기본 설정이 다르기 때문에 DLSS 게임에서 선명도 슬라이더를 노출하는 것이 좋습니다.

가장 낮은 대기 시간을 달성하려는 eSports 사용자의 경우 DLSS 프레임 생성 없이 NVIDIA DLSS 2(초해상도) + 리플렉스만 활성화하여 FPS를 개선하고 시스템 대기 시간을 늘릴 수 있습니까?

DLSS 3에 대한 지침은 개발자가 마스터 DLSS 켜기/끄기 스위치와 프레임 생성, 수퍼 해상도 및 반사를 위한 개별 기능 토글을 모두 노출하도록 권장하므로 사용자가 원하는 정확한 설정을 제어하고 구성할 수 있습니다. DLSS 프레임 생성은 대략 절반 프레임의 대기 시간을 추가할 수 있지만, 이 대기 시간은 종종 DLSS 3 패키지의 모든 부분인 NVIDIA Reflex 및 DLSS Super Resolution에 의해 완화됩니다. NVIDIA Reflex는 CPU와 GPU를 동기화하여 대기 시간을 줄이고 DLSS 수퍼 레졸루션은 렌더링 해상도의 크기를 줄임으로써 대기 시간을 줄입니다.

Cyberpunk 2077의 Ray Tracing Overdrive 모드와 관련하여 이 게임의 향상된 RT에만 해당하는 명칭입니까? 즉, CP2077에서만 고유하게 유지됩니까?

예, 그것은 그들이 새로운 모드에 사용한 용어였습니다.

시간 내주셔서 감사합니다.

출처 : https://wccftech.com/nvidia-ada-lovelace-follow-up-qa-dlss-3-ser-omm-dmm-and-more/

[Simbian]

Ada 를 자동으로 짜주는 건가 했음..

[가즈아2]

우리는 항상 DLSS 슈퍼 해상도의 이미지와 모션 품질을 향상시키기 위해 노력하고 있지만 현재로서는 모션 선명화에 대한 구체적인 발표가 없습니다. 게임 개발자는 기본 설정이 다르기 때문에 DLSS 게임에서 선명도 슬라이더를 노출하는 것이 좋습니다. 에라이..

[삶은치킨]

이따구로 장사 하실거면 프로세서 명에 과학자 이름 붙이지 마셔 황가놈아

[dusldus]

최초의 프로그래머이신 에이다 러브레이스 여사님은 나장도 천재면 도박은 껌이지 라며 도박중독으로 전 재산을 탕진하신 분이기도 해서……

[준더크]

물론 엄청 좋은 기술이라고 생각은하는데 이걸 쓰기위한 제품들의 포지션과 가격이 이번에 엉망인게 참 실망스럽네

[아비시니안루비]

깡성능을 오려 괜히 더 팔아 먹을려고 쇼하지말고

[XeloWing]

실제론 dlss겁나 빨아주지만 사용하는사람은 적다죠... 어느 유튜버도 실제 커뮤에 설문조사 한결과 거의 사용안한다고...

[N.OP]

dlss 실제로 쓰면 확실히 뭔가 깨지거나, 잔상 생기는 현상이 보임

[웹떠돌이]

A.I가 대체 그래픽 만드는거니 문제가 생깅 수 밖에 없죠. 허수 프레임.

[철봉이풍부한조개젖국]

VEGA 56은 (플루이드모션 쓰면) 6800XT 의 두배 2d 가속 능력을 지닙니다
두배의 성능 인텔도 탐내서 모셔간 코두리의 명작을 사용하세요

[RouletteDice]

댓글 보면 예전에 노멀맵 처음 도입될 때 이런 눈속임 말고 걍 깡 폴리곤 수나 올리라던 때 생각남....

AI 기반 업스케일링, 프레임 생성 둘다 거부할 수 없는 시대의 조류고, 기존 TAA나 AMD 샤프닝 필터에 비해 압도적인게 사실인데 가격책정에 대한 불만 때문에 기술까지 저평가당하는 느낌. -.-

[엘더베어]

업 스케일링 기술은 그렇다 쳐도 프레임 생성해서 끼워 넣는게 시대의 조류까지는 아닌 거 같습니다만...ㅋ
성능이 확보되면 둘 다 필요 없는 기능이죠. 특히 PC처럼 고성능 기기에선...

[RouletteDice]

성능만 확보되면 다 필요없다 이거는 노멀맵때부터 항상 나오던 이야기죠. 성능 확보되면 걍 지브러시 스컬핑한 삼사백만 폴리짜리 그냥 돌리면 그게 제일 쩌는데 근 20년동안 노멀맵 안쓰는 게임 완전히 사라졌죠.

[압록강]

프레임 증폭 기술들이 시대의 조류는 맞습니다. 지금같은 방법으로는 8K 16K 고주사율 환경을 감당할 수 없어요.
DLSS로 대표되는 이미지 업스케일링도 일종의 프레임 증폭 기술이고 DLSS 3으로 대표되는 프레임 생성도 프레임 증폭 기술의 일종입니다. 그 구현방법이 꼭 AI여야할 필요는 없긴 한데, AI가 시대의 조류니까 AI 기반 프레임 증폭 기술들이 시대의 조류라고 못할 건 없죠.

그런데 구매자 입장에선 미래가 어떤지보단 현재가 어떤지가 더 중요한 법이라서요. 미래를 생각하고 Geforce 3090 Ti 사신 분은 과거에 버려졌고 Geforce 40번대 산 사람들한테만 기술을 제공한다고 하는데, 당연히 소비자도 현재 당장 어떤 결과가 나오는지로 제품을 판단해야 하지 않겠어요? 미래에 기술이 성숙하면 훌륭할거라고 이야기를 해 봐야 기술이 성숙했을 때 내 GPU에서 그게 돌지 안 돌지는 모르는 건데요.
그걸 시대의 조류니 지금 탑승하라고 이야기하는 건 AMD GPU 사서 5년 지나면 동급 엔비디아 GPU보다 좋아지니 그래픽카드 살거면 AMD 그래픽카드 사라는 거랑 똑같은 소리죠.

[압록강]

테셀레이션도 시대의 조류였고 이걸 하드웨어에 먼저 올린건 암드였는데, 그 기술이 생태계에 받아들여져서 사람들이 괜찮다고 느낄만한 정도가 된 건 그로부터 몇 년이 지난 뒤고, 그때는 엔비디아가 테셀레이션을 암드보다 잘하고 있었어요. 소비자는 이런 시기에 기술을 평가하지, 기술이 처음 도입되어서 시행착오를 겪고 있는 단계에서 미래에 비전이 보인다고 기술을 높게 평가해주지 않습니다.

[RouletteDice]

어차피 지금은 뭐 선택 여지도 없죠. 사실 레이트레이싱이나 DLSS나 압도적이니까 황회장이 배짱장사 하는건데 꼴은 같잖지만 솔직히 그렇다고 AMD 카드 살 거 아니잖아요?

황회장 지금 사업 투자하는 것들 보면 하나같이 성과 엄청나서 AI 이미지 처리는 엔비디아 선두 달리고 있고 랩에서도 엔비디아 지피유 쓰고 DLSS도 궤도 올라서 아직도 FSR 그 샤프닝 필터로 언플하는 AMD랑은 거리가 한참 차이나게 되버렸는데, 이제는 그냥 인텔이 잘만들길 바라는게 빠른 판이고요.

[엘더베어]

사실 업스케일링 쪽은 저도 VR등에 유용하게 잘 사용하는 중입니다
그런데 DLSS3는 아직 실제로 체감을 못했고 지금까지의 경험한 프레임 보간 기능은 부드러워도
이질감때문에 사을 안한게 대부분이라 동영상과 게임 렌더링 방식에서 오는 차이나 기술의 발전으로 정말 다를수도 있겠습니다만... 크게 기대는 안되네요

[압록강]

샤프닝 필터를 이용한 업스케일은 FSR 1.0이고 FSR 2.0부터는 모션벡터를 이용한 업스케일 기술로 넘어갔는데, FSR 2.1이 DLSS 2.4보단 부족하지만 DLSS 2.0보다 부족하냐면 글쎄요. 정보가 좀 늦으신 것 같아요.

[RouletteDice]

어차피 기존 TAA 방식에다가 템포럴 처리 섞은 거라 결국은 샤프닝 필터죠.

[RouletteDice]

아 댓글을 이상하게 달았는데, 어차피 FSR이라고 해봐야 처리 알고리즘 좀 다른 TAA거든요. 기계학습 이런거 아니고. 갓오브워에선 체커보드보다 다 딸렸죠. 그냥 TAA 메소드일 뿐인데 이걸 DLSS랑 비비고 있는건 AMD 혼자고요.

[압록강]

DLSS 2가 AI를 쓴다고 그 과정에서 AI가 대단한걸 하는 것도 아니고 템포럴 처리 와중에 모션벡터와 AI의 도움을 받는 것 뿐이라 그런 식으로 납작하게 표현하면 DLSS도 마찬가지로 기존 TAA에다 템포럴 처리 섞은 샤프닝 필터입니다.

[압록강]

VR 쓰시면 가장 익숙하실 프레임 증폭 기술은 Asynchronous reprojection일 거예요. 그래픽 연산속도가 사람 움직이는 걸 못 따라는 경우에도 사람한테 그게 어떻게 보일지를 예상해서 화면에 표시하는데, 이 기술은 대부분의 VR에 적용되어 있고 유저들이 이 기술의 도움을 많이들 받고 있습니다. 이게 없으면 VR 필요 사양이 훨씬 올라갔을 거예요.
이런 기술이랑 비슷하다고 보시면 됩니다.

[RouletteDice]

TAA는 맞죠. 이전 프레임 참고해서 시간적 재구성만 하면 TAA 범주에는 다 들어가는 거니까.
FSR은 결국 2.0에서도 Temporal 데이터 참고한다 뿐이지 Lanczos 알고리즘 그대로 박아넣어서 보정하는 거니까 빼도박도 못하고 그냥 샤프닝 필터가 맞고요. AI 기반은 종래의 샤프닝이 아니라 없는 픽셀 정보를 맥락에 따라 생성해내는 거라 차이가 크죠.

[압록강]

TAA는 없던 픽셀 정보를 이전 프레임에서 가져와서 채우는게 핵심인 업스케일 방법인데, TAA라는 걸 아시면서 란초스에 집착하시는게 이해가 안 되네요. DLSS 2.0이든 FSR 2.0이든(그리고 XeSS도) 오브젝트가 고정되어서 변하지 않는 상황에 그래픽 품질을 올리는데 쓰는 핵심 기술은 카메라 지터입니다. DLSS 2.0이라고 없는 픽셀 정보를 만드는게 핵심이 아니고요. 카메라를 유저는 알아볼 수 없지만 컴퓨터는 추가 데이터를 얻을 수 있는 범위(예를 들어, 0.5픽셀)에서 움직여서 이전 프레임과 이번 프레임 사이에 물체가 그 자리에 그대로 있어도 다른 위치의 픽셀 정보를 얻을 수 있도록 하고, 그걸 이용해서 업스케일에 사용하는 거예요.

없는 픽셀 정보를 만들던 건 DLSS 1.0에서 하던 건데 이게 결과가 좋았나요?

[압록강]

이건 현실 세계에서의 업스케일 연구지만 논리적으로 동일하고 알아보기 편해서 인용합니다.
https://www.youtube.com/watch?v=QdK5-gNf4Wg

없는 픽셀을 만들어내는게 아니라, 이렇게 카메라를 조금씩 움직여서 물체가 제자리에 가만히 있더라도 프레임마다 서로 다른 subpixel을 얻도록 하고 사람 눈에 보여줄때는 이 정보를 이용해서 고해상도 이미지를 만들어서 보여주는 거예요.

[RouletteDice]

흔해빠진 TAA 로직을 굳이 왜 보여주시는지.... 결국은 "고해상도 이미지를 만들어내는" 과정에서 뭘 적용하느냐가 업스케일링 품질을 결정짓는건데, FSR의 란초스 알고리즘이나 PS4에서 소니 애들이 울부짖던 체커보드 렌더링이나 전체 화면 해상도의 일부 픽셀만 렌더링한 다음에 주변 픽셀 정보로 빈 픽셀들 자리 유추하는 거죠.

[RouletteDice]

여기에서 체커보드나 FSR이나 한계가 명확했던게 그냥 단순 공식이라 어느 자리 픽셀을 얼마나 어떻게 참고할까의 문제지 결과물은 그냥 픽셀 서로 다른 강도로 섞어서 중간 픽셀을 만들어내는 방식에 불과하다는 거였죠.(물론 고스팅 대책으로 이거저거 하는데 이 부분은 생략. 어차피 TAA 방식서 제대로 극복된 사례도 없고.) 컴퓨터는 기계적으로 알고리즘을 모든 픽셀에 정해진대로 적용할 뿐이지 내가 지금 채운 검은색 픽셀이 철조망인지 아니면 주인공 모발인지 모르거든요. 그런데 AI 이미지 생성은 픽셀을 채워넣을 때 (모델 학습정도에 따라) 지금 자기가 그려내는게 학습한 내용중 무슨 패턴에 가깝고 그래서 픽셀을 이걸로 채워야 해 이런 판단이 되는게 중요하죠. 그래서 머리카락이나 모공 표현서 DLSS가 FSR을 압도할 수밖에 없는 거고요.

[RouletteDice]

디지털 파운드리서 가끔 DLSS 평가할 때 '원본보다 오히려 선명한 이미지를 보여준다'라고 하거든요. 요번에 인텔 업스케일링 기술 시연하는 영상서도 AI기반 업스케일러인 DLSS나 XESS가 4K TAA보다 오히려 정보량이 많은 이미지를 생성해내는 결과가 나왔죠. 이거는 란초스 알고리즘 가지고는 절대 안 돼요. 얘는 자기가 그려내는게 뭔지 모르니까. AI 기반 업스케일링은 신경망에서 자기가 뭘 그려내는지 판단이 실제로 되니까 그게 중요한 거죠.

[압록강]

고전적 TAA 구현은 TAA 적용 전보다 정보량을 줄이는 경우가 있으니 당연히 멀쩡하게 구현된 현대적 업스케일 알고리즘이면 고전적 TAA보다 정보량이 많은 결과를 내놓아야 하는 거고요...
DLSS 2.0부터 2.4 사이의 품질 개선은 대체로 AI가 아닌 부분들을 개선해서 달성된 부분들인데, AI가 적용되어서 훌륭한 결과를 보여줘야만 하는 DLSS 2.0이랑 란초스가 들어갔으니 엉터리 결과를 보여줘야 하는 FSR 2.1로 렌더링된 게임 결과물을 비교해 보는 사람들 중 얼마나 많은 사람들이 하시는 말씀에 공감할지는 좀 궁금하군요.

[RouletteDice]

어... 거기서 기존 TAA보다도 정보 망실이 심한게 FSR인데요....

[압록강]

FSR 2.0이랑 FSR 2.1도 결과물이 완전히 다르고 DLSS 2.0이랑 DLSS 2.4도 결과물이 완전 다른데 FSR 2.1 이야기 하는 중에 본인 하시는 말씀이 옳아야만 하니 FSR 2.0을 가지고 오면 조금 그렇죠. 그리고 본인이 하시는 주장에 따르면 DLSS 2에서 핵심은 AI지 다른 잡기술이 아니니까 DLSS 2.0이랑 DLSS 2.4은 품질이 비슷해야 할 거고요.

[압록강]

말하다 보니 이번에는 DLSS 2.0이랑 DLSS 2.4가 둘 다 AI를 같은 방법으로 사용한 템포럴 업스케일이니 품질이 거기서 거기라고 하면 사람들이 얼마나 동의해줄지도 궁금하네요.

[RouletteDice]

어차피 란초스 알고리즘은 독립적으로 자신이 그려내는 픽셀이 뭔지 판단할 근거도 없고, 그걸 제작진이 일일히 집어넣기란 현실적으로 완전히 불가능하다고 봐도 되죠. 만약에 한다고 쳐도 그만큼 퍼포먼스를 잡아먹어서 아무 의미도 없게 되는게 당연하고요. 란초스 방식이야 모션 벡터 정도가 한계인데 이것도 기존에 TAA 방식서 지겹게 사용하던 거라 뭐 마법의 개선책 이런거 없고요.

그리고 머리카락, 털, 풀, 모공 같은, 화면상에서 고작해봐야 3,4 픽셀 차지하는 디테일들에서 란초스 알고리즘은 어떤 식으로 적용하던 재구성에 실패할 수밖에 없죠. 그런데 AI 업스케일러는 이거 재구성에 성공하니까 이것도 훨씬 앞서가는거고....

다 AI 업스케일링 가는건 판촉전략이 아니라 그냥 그게 미래라서, 효과적이라서인데... 란초스로 저 모공 재구성하려면 그냥 텍스처를 2배 사이즈 쓰는게 빠르겠죠 ㅋㅋㅋㅋㅋ

[RouletteDice]

아니 뭐 암드 직원이세요? ㅋㅋㅋㅋ 란초스 알고리즘을 어떻게 쓰든 그건 결국엔 지금 있는 픽셀 기반으로 채워넣기라 추가적인 디테일이나 철조망처럼 애초에 픽셀 정보가 적은 물체는 재구성이 어려워요. 그래서 이 스샷에서는 픽셀 정보가 적은 중앙 나무 디테일이 다 훼손됐구요.

이건 암드 싫어서 그러는게 아니라 그냥 고전적 업스케일링 근본적인 문제라 AI 도입 없이는 해결이 안되는건데 왜자꾸 억지를 부려요 ㅋㅋㅋㅋㅋ

[압록강]

그래픽 기술이라는건 본질적으로 사람들 눈에 얼마나 그럴싸해보이는지가 핵심이고, 그걸 위해서 온갖 자질구래한 기술들을 동원해온게 그래픽 기술의 역사고요. AI 기반 업스케일과 AI를 쓰지 않은 업스케일을 다른 기술적 기반이 모두 동일한 상태에서 비교하면 AI 기반 업스케일이 더 낫지만, 실제로 더 중요한 부분은 저기서 같다고 친 "다른 기술적 기반"들일때가 훨씬 많습니다.

DLSS는 AI 기반 업스케일이고 FSR 2는 AI를 이용하지 않은 기술이니 다른 이용한 기술이 동등하면 당연히 DLSS가 FSR2보다 좋은 결과를 내는게 맞는데요. AI가 무슨 뿌리기만 하면 모든 문제가 해결되는 무안단물인줄 아시나요?

DLSS 1.0이 본인이 믿는 것처럼 AI가 없는 픽셀을 만들어줄테니 AI를 이용하면 별도의 기술 없이도 좋은 결과를 만들어낼 수 있을 거라는 착각으로 만들어진 기술이고, 그런 착각으로 시작한 바람에 게임마다 별도의 학습이 필요했던데다가 당연히 망했습니다. 그래서 시간 정보와 모션벡터를 이용하는 DLSS 2.0으로 넘어간 거고요.
그러니 주장하시는 대로면 AI로 모든 픽셀을 처리하는 DLSS 1.0이 DLSS 2.0보다 이미지 퀄리티가 좋아야 하겠죠. 현실은요?

그리고 같은 방식으로 AI가 적용된 DLSS 2.0이랑 DLSS 2.4도 품질이 동등해야 하는데, 현실이 그렇습니까? 모션벡터 처리를 개선하고 파티클 처리를 개선하고... 이게 AI적 개선인가요 알고리즘적 개선인가요?
AI만 뿌리면 모든게 마법처럼 개선되고 좋은 품질의 결과물이 나올텐데 엔비디아 엔지니어들은 대체 왜 그런 고생을 하고 있을까요.

[RouletteDice]

지금 업계에 쇼크가 온 이유가 AI가 실제로 무안단물이라서 그렇죠.

[압록강]

AI가 정말 무안단물이면 DLSS 1.0이 DLSS 2.0을 이겼어요. 무안단물이 아니니까 DLSS 2.0이 DLSS 1.0을 이긴겁니다.

[RouletteDice]

결국은 AI 방식 없이는 없는 픽셀정보로 재구성이 불가능하다는건 그냥 "사실"이거든요. 근데 여기에 대해서는 자꾸 말을 빙글빙글 돌리는데, 고전적 알고리즘 방식은 결국 있는 픽셀 정보로 뽑아내는 거라 어떻게 하든 화면에 5,6 픽셀 두께로 있는 나뭇잎이나 철조망, 모공 등의 디테일한 부분은 앨리어싱-업스케일링 과정에서 무조건 훼손된다고 봐도 돼요.

AI 업스케일링은 이 제약이 근본적으로 사라진 건데... 당연히 다를 수밖에 없죠. 처음에 시행착오야 있었고 그건 부정 안 해요. 그런데 DLSS 1.0이 구렸다고 해서 지금 FSR이 마술처럼 고전적 업스케일링에 뒤따르는 픽셀정보 제한 문제를 AI 없이 극복가능한가요? 그건 아니죠.

FSR이 모공, 나무가지, 철조망, 격자 패턴을 개선한다? 지글링을 개선한다? 하... 그게 됐으면 지금 AI 업스케일링이랑 이미지 재구성 분야에서 엔비디아가 이렇게 승승장구할 이유가 없죠. ㅎㅎ....

[압록강]

화면 하나 업스케일하는데 20초씩 써도 되는 다른 AI 업스케일 기술들이랑 다르게 게임은 1초에 수십 수백개의 프레임에 대해 업스케일을 해야 하고요. 그래서 필드에 돌아다니는 다른 AI 기술들처럼 연산에 사용할 수 있는 연산량이 넉넉하지도 않습니다. 어느 문제에 AI가 유리하고 어느 문제를 고전적 알고리즘으로 해결하는게 유리한지 같은 것들이 다 노하우고요.
엔비디아는 DLSS 1.0에서 망한 결과로, 시간적 업스케일에서 샘플링된 픽셀 중 어느 픽셀이 좋은지 고르는 과정에 AI가 활약하도록 하는게 AI가 통째로 업스케일을 하는 것 보다 훨씬 낫다는 걸 알게 된거죠. 그러면서 부작용으로 TAA들에 항상 따라붙는 고스팅같은 문제도 따라왔는데, 이런 고스팅을 줄이는 기술들도 대체로 AI가 줄인다기보단 고전적 알고리즘으로 줄여나가고 있고요.

AI가 연산능력을 무제한적으로 사용할 수 있으면 연속된 프레임을 입력으로 줬을 때 모션벡터같은 잡기술들 없이도 DLSS 2보다 나은 결과를 얻을 수 있겠지만, 게임은 그럴 수 있는 동네가 아닙니다. 혹시 모르겠네요. 10년쯤 지나면 연산 능력이 충분해서 그럴 수 있을지도요

[RouletteDice]

아니 자꾸 뭘 착각하는데 1.0은 Temporal 데이터를 아예 안 썼어요. 그래서 ai가 매 프레임마다 현재 프레임의 픽셀과 모션 벡터만 가지고 재구성을 처리해야 했고, 이래서 맥락의 망실이 발생한 거고요.

2.0에서 한 건 temporal 데이터셋을 ai에 제공해서 ai가 이미지를 구축할때 이전 프레임의 맥락을 고려하게 한건데... 무슨 2.0은 ai가 아닌 것처럼 말하는지 ㅋㅋㅋㅋㅋ

[RouletteDice]

결과적으로 2.0에서 고전적 업스케일링에서 불가능한 미라클이 발생한게 사실인데 왜이리 자꾸 말을 늘려요?

[RouletteDice]

그래서 압록강님은 FSR에서 고전적 알고리즘으로 쌩쇼를 해서, 화면에 불과 2,3 픽셀 표시되는 모공이나 나뭇잎의 앨리어싱 문제를 해결할 수 있을 거라고 보는 거에요? 아예 재구성에 필요한 정보 자체가 없는 건데? 고전적 알고리즘이 그걸 무슨 수로 판단해요 ㅋㅋㅋㅋㅋㅋ

[RouletteDice]

그리고 뭐라구요? 고스팅이나 그런걸 고전적 알고리즘으로 줄인다구요요? DLSS 2.0 버전업 할때마다 인공신경망 모델 개선하는 거예요. 수동으로 개선하는 고전적 방식 쓰는게 아니라 ㅋㅋㅋㅋㅋㅋㅋㅋ 고스팅 처리 플리커 처리도 다 인공신경망 개선해서 처리하구요. 이 평가 알고리즘 인간이 안 짜고 학습만 시켜도 된다는 시점서 이미 겜 끝인데 뭔 씨 ㅋㅋㅋㅋㅋ

[Patetiso]

FSR: 주위 픽셀 정보 참고해서 업스케일
DLSS: 주위 픽셀 정보 참고하고 AI가 어떤 패턴인지 파악해서 업스케일
이거 아닌가요? 저는 이렇게 알고있는데 맞는지 모르겠네요

[압록강]

1.0은 시간 데이터를 안 썼다는게 제가 하는 말이고, 시간 데이터가 있든 없든간에 AI가 모든 문제를 해결한다면 모든 프레임을 AI가 업스케일 하는 1.0이 업스케일 과정에서 프레임 샘플링 과정에서만 AI가 개입하는 2.0보다 결과가 좋아야 했다는 이야기죠. 현실은 그 반대지요?

그리고 RouletteDice님은 TAA가 왜 나왔는지부터를 잊어버리신 모양인데, 화면에 있는 3픽셀짜리 정보를 시간정보를 이용해서 증폭해서 정보량을 늘리고 이걸 AA 처리에 사용하는게 시간적 AA들이 하는 일이고요. 시계열 정보가 있는데 왜 재구성할 정보가 없어요? 현대적 TAA 기술들이 하는 일의 핵심은 Camera Jitter를 만들 때 어떻게 서브픽셀을 가져오는게 보다 정보량을 늘리기 좋은지 고민하는 거고요. DLSS는 이런 고민을 안 할 것 같나요?

DLSS 2 품질모드를 예시로 들면, 렌더링 사이즈가 70%인데 렌더링을 할 때 최소 2개 프레임을 사용하니 이전 프레임을 고려하면 들고 있는 정보량은 140%에 추가로 모션벡터를 들고 있는 거고요. 이건 프레임 하나만 썼을 때 이야긴데, 실제로 시간적 AA들은 이전 프레임으로 인해 렌더링된 결과를 다음 프레임을 그릴 때 재사용하니, 연속 4개 프레임으로만 놓고 봐도 정보량은 280%입니다. 3픽셀 말씀 계속 하시는 건 8.4픽셀짜리 정보량이 되는 거고, 2픽셀 말씀 계속 하시는 건 5.6픽셀짜리 정보량이 되고요. 그런 정보량을 최대한 많이 확보하는게 시간적 AA의 기술입니다. 그래서 정말 옛날 초 고전식 알고리즘이라도 오브젝트가 제자리에 멈춰있고 움직이지 않으면 고화질로 결과를 얻을 수 있어요.
그런데 게임의 오브젝트라는건 대체로 멈춰있질 않고 움직이니, 같은 오브젝트의 정보를 연속적으로 취득하기 위한 수단으로 모션벡터를 쓰는 거고요.

DLSS 2에서 하는 건 없는 정보를 만드는게 아니라 이런 과정을 거쳐서 샘플링한 데이터중에서 어느 정보를 어떤 방식으로 활용하는게 보다 나은 화면이 나올지를 AI를 이용해서 판단하게 한 겁니다. 단순히 생각하면 초고해상도로 렌더링한 결과를 다운스케일했을 때 나오는 화면을 정답으로 보면 되지만, 실제로는 이렇게 단순히 다운스케일하는 경우 모든 픽셀이 흐릿해보이는 문제가 있어서(이건 옛날에 SSAA 써보신 분들은 알 겁니다) 학습 과정에서 샤프닝필터같은것도 다 들어가요.

없는 정보를 만들어내는게 핵심인 알고리즘은 DLSS 1.0이고요. 그러니 없는 정보를 만들어내는게 기술의 핵심이면 DLSS 1.0이 DLSS 2.0을 이겼을 거라고 반복적으로 이야기하는 겁니다. DLSS 2.0은 있는 정보를 잘 섞는게 핵심이지 없는 정보를 만들어내는게 기술의 핵심이 아니에요.

고전적 알고리즘의 개선이 무슨 의미가 있냐? 당연히 의미가 있죠. DLSS 2에서 AI가 하는 일은 정보량을 만들어내는게 아니라 샘플링된 픽셀을 어떻게 활용하면 좋은 결과가 나올지 판단하는 건데, 알고리즘적으로 샘플링된 픽셀을 활용하는 결과가 AI가 학습한 결과랑 유사하면 결과도 당연히 점점 더 유사해지는 거라서요. 예를 들어, 아래 예시에서 FSR 2.1이 DLSS 2.4보다는 여전히 나쁜데, FSR 2.0때처럼 사람 백명 데려오면 백명이 다 보자마자 "아 FSR 2.0이 훨씬 나쁘다" 라고 할 만큼 나쁘지는 않을 걸요?

https://youtu.be/F1HTvmwsxA4?t=53

[압록강]

그건 FSR 1.0이랑 DLSS 1.0의 차이고, FSR 2나 DLSS 2는 모두 시간정보를 활용합니다.

[Patetiso]

시간정보라는게 뭘 의미하나요? 사전 프레임 참고하는거라면 주위 픽셀 참고하는것과 크게 다르지 않을것같은데..

[압록강]

뭔 소리예요. DLSS가 받는 입력값 중에 노출값이 있는데 개발자들이 노출값을 파라메터로 제대로 안 넘기면 입력이 없으니 당연히 관련 처리가 안 되고, 이 문제를 해결하기 위해 개발자가 노출값을 제대로 안 주면 런타임 과정에서 노출값을 실시간으로 계산해서 입력으로 대신 넣어주도록 개선한게 DLSS 2.2에서 고스팅이 개선된 과정이었습니다. 인공신경망 개선으로 자동이요?

[RouletteDice]

당연히 보고 그릴게 있어야 하니까 픽셀 정보를 참고하구요. 픽셀 정보량 자체가 너무 작은 것들은 비 AI TAA 업스케일링 방식으로는 아예 정상적인 처리가 불가능하고 정보가 망실될 수밖에 없어요.

숲속을 예로 들면 시선 위로 돌리면 나무마다 가느다란 나뭇가지, 저 멀리 보이는 나뭇잎 같은 것들이 가득할텐데, 이걸 업스케일링하는 알고리즘은 이 2,3픽셀 넓이의 가느다란 직선 픽셀들이 뭔지 파악할 수 없고 기계적으로 처리하게 돼요. 그러면 좁은 범위에 나뭇가지, 나뭇잎, 사이사이로 보이는 하늘 픽셀 데이터가 다 섞여 있으니까 이걸 엉망으로 섞어서 정보가 다 뒤섞이죠. 해결한 방법이 없어요. 알고리즘이 처리할 픽셀 데이터가 없는 거니까요.

근데 AI 신경망 기반은 자기가 뭘 그려내는지를 파악(정확히는 학습한 이미지 데이터들과 비교)해서 가장 적합한 패턴을 능동적으로 파악해 그걸로 이미지를 재구성하기 때문에, 이 문제를 실제로 해결할 수가 있고 해결하고 있는 거고요.

[RouletteDice]

매 프레임마다 새로 정보를 받으면 이전 정보의 맥락이 단절되기 때문에, 화면의 연속성에 손실이 발생해요. 이건 인간이 직접 업스케일링을 수행하더라도 별 수가 없죠.

[압록강]

이전 프레임을 참고하는게 맞는데, 이전 프레임을 참고하는 거랑 주위 픽셀을 참고하는 건 크게 다릅니다.
자세히 설명하기는 복잡해서 쉽게 말씀드리자면, 1920x1080 해상도로 기본 렌더링을 해서 업스케일을 한다 할때, 이 때 주위 프레임만을 참고한다면 참고할 정보량 역시 1920x1080개(2,073,600개)인데, 현재 프레임에 더해서 이전 프레임의 정보를 함께 참고하면 1920x1080x2개의 정보가 있는 셈이니 참고할 정보량이 2배가 되죠.

[Patetiso]

네 그러니까 핵심은 제가 이해한게 맞는거죠?

FSR이나 DLSS나 시간정보, 주위 픽셀 참고해서 업스케일링 하는건 동일한데

거기에 DLSS는 AI가 정보를 분석해서 취사선택, 혹은 기존 픽셀을 기반으로 새로운 데이터를 생성하는 프로세스가 추가되는거죠?

[Patetiso]

이해했습니다 답변 감사합니다
두분 하시는 말씀 다 이해는 되는데
두분 대화 맥락이 좀 어긋나는것같아요 각자 같은 주제로 다른말하는 느낌?
싸우지마세요 ㅎㅎ

[RouletteDice]

네네. DLSS 에서 시간정보라 하면, 인공신경망이 매 프레임마다 픽셀 데이터를 추적해서 현재 프레임의 픽셀이 이전 프레임에서 어떤 픽셀에 해당하는 픽셀이었나를 파악하는 과정이에요. 이 과정에서 AI가 자신이 그려내는 물체가 '뭐'고, 지금 프레임에서 어떻게 그려져야 하는지를 판단할 수 있게 되는 거구요.

[RouletteDice]

메인 알고리즘 들어가기도 전에 인풋단에서 에러가 있어서 잡은 거랑, AI 학습으로 메인 알고리즘 자체를 개선해서 아티팩트 줄여나가는게 지금 같은 범주라고 보는 거예요? 얘네가 매 번 업데이트마다 신경망 업데이트하고 있는데?

[Patetiso]

제가 보기에는 그렇습니다

룰렛님은 AI기술이 들어간 DLSS가 기술적으로 FSR보다 우월하다 이야기하시는거고
압록강님은 AI기술만으로는 효과적인 업스케일링이 어렵다고 하시는건데

둘 다 맞는 이야기지만 주장의 방향성이 다른것같아요 굳이 서로 열내실 필요가 있을까 싶은데..
한쪽이 맞다고 다른쪽이 틀렸다는 이야기가 아닌것같은데 괜히 과열된감이 없잖아 있는것같습니다 ㅠㅠ

[RouletteDice]

TAA에서 2, 3 픽셀 있는게 결국 해결이 안 됐죠. 이건 그냥 사실의 영역이죠? 지터 오프셋을 어떻게 주던, 모션벡터 뎁스 노출 아무리 줘도 인간이 만든 휴리스틱은 모든 경우의 수를 처리할 수도 없고 설사 그런 알고리즘을 만들어낸다고 해도 그런 연산이 가능하지도 않기 때문에 결국 해결할 수가 없었죠.

그런데 지금 헤어, 모공, 기타 디테일 표현에서 인간이 만든 휴리스틱이 제대로 나온 게 있긴 해요? 이걸 인간 손으로 일일히 개선한다고? 진짜 너무 심한거 아니에요?;;

[RouletteDice]

1. FSR도 업스케일링 고전적 약점은 다 밟고 있죠?
2. 사람이 달성 불가능한 성과, 업스케일링의 고전적 약점 극복을 AI가 해냈죠?
3. DLSS가 받는 인풋값이 현재 프레임 픽셀, 이전 프레임 픽셀, 지터 오프셋, 모션 벡터, 뎁스, 노출이 전부고 이걸 받아서 구현하는 메인 알고리즘이 결국 AI 신경망이며, 이 신경망에서 발생하는 문제를 신경학습으로 처리하고 있는데 이게 FSR이랑 같다구요?;

[압록강]

매 업데이트마다 신경망을 개선하는 건 알고리즘이 바뀌었으니 해야해서 하는겁니다.
메인 알고리즘에 들어가기도 전에 인풋단에서 에러가 있어서 잡은게 DLSS 2.1 -> DLSS 2.2 사이에서 버전 넘버가 바뀔 정도의 핵심적인 변화고요. DLSS 2.2 -> 2.3의 핵심 변화는 모션 벡터를 활용하는 방법을 알고리즘적으로 개선해서 플리커링이랑 파티클 처리를 개선한 건데, 역시 이것도 신경망 개선으로 인한 차이가 아닙니다.

반복적으로 이야기하고 있는데, DLSS 2 시리즈에서 AI가 하는 일은 없는 정보를 만드는게 아니라 이전 프레임의 고해상도 정보와 모션 벡터, 그리고 현재 프레임의 저해상도 정보를 활용하는 과정에서 그 정보를 어떻게 활용하는게 좋은지를 평가하는 겁니다.
DLSS에서 네이티브 렌더링보다 나은 결과를 보여주는 경우가 있는 것도, 여러 시간대에 걸쳐서 정보가 샘플링되다보니 정보량이 많아서 그렇고요.
"DLSS sometimes provides even higher detail than native rendering because every frame is giving us different sets of samples about how things should look." 이건 제 주장이 아니라 엔비디아에서 오피셜하게 한 이야기입니다.

DLSS 3이나 4에서 다른 방법으로 알고리즘이 개선될지는 모르겠는데, DLSS 2는 그런 기술이 아니에요.

[압록강]

TAA에서 2, 3픽셀 있는 걸 해결 못한건 그 TAA 구현체의 문제입니다.

초기 TAA는 모션벡터도 사용하지 않아서 물체가 가만히 있으면 AA가 적용되었다가 캐릭터가 움직이기 시작하면 AA가 꺼졌는데, 그걸 가지고 TAA는 움직이는 물체에 대해 적용되지 않는다고 이야기 하면 어떤 평가를 들을까요?
https://www.youtube.com/watch?v=i_PUXa-r0WY
언리얼엔진 4에 들어간 TAAU와 언리얼엔진 5에 들어간 TSR의 품질 차이를 비교해보신 적 있으신가요? 둘 다 AI를 사용하지 않은 고전적 TAA인 셈인데, 이 둘을 같은 기술이라고 이야기 할 수 있나요? 당연히 구현 디테일이 어떠냐에 따라서 결과물도 천차만별입니다.

말씀대로 모공 표현같은걸 알고리즘적으로 살리는 건 단일 프레임으로 정보를 업스케일해야 하는 상황에서는 불가능한게 맞지요. 그걸 해결하려면 없는 정보량을 만들어야 하는데, 이건 고전적 알고리즘이 AI랑 가깝게 갈 수 없는 영역이 맞고요.

그런데 다른 시간축에서 없는 정보를 끌어오는게 TAA의 핵심인데 왜 계속 이걸 없는셈 치시는지 모르겠습니다. 극단적인 예로, 모든 물체가 제자리에 가만히 있고 시간축 정보를 16프레임 전의 정보까지 쓸 수 있으면 720p가 입력이라도 5120x2880 해상도랑 동일한 품질을 낼 수 있겠지요?
물론 당연하게도 모든 물체는 제자리에 있지 않고 움직이니까 이런 극단적인 예랑 같은 결과를 얻는 건 불가능하고, 움직이는 물체를 가지고도 시계열적인 정보 샘플링을 하기 위해 모션벡터같은 것들을 활용하는 것인데요. 제가 계속 하고 있는 이야기는 시간AA를 쓰는 이상 고전적 알고리즘이라도 정보가 없는게 아니라, 없는 정보를 만들어내야 하는 상황이 아니라는 겁니다.

[압록강]

제가 AI를 쓰든 안쓰든 마찬가지니 AI가 필요가 없다고 하고 있는 건 아닙니다. 위에서도 이렇게 확실히 이야기를 했죠?

"그래픽 기술이라는건 본질적으로 사람들 눈에 얼마나 그럴싸해보이는지가 핵심이고, 그걸 위해서 온갖 자질구래한 기술들을 동원해온게 그래픽 기술의 역사고요. AI 기반 업스케일과 AI를 쓰지 않은 업스케일을 다른 기술적 기반이 모두 동일한 상태에서 비교하면 AI 기반 업스케일이 더 낫지만, 실제로 더 중요한 부분은 저기서 같다고 친 "다른 기술적 기반"들일때가 훨씬 많습니다." 라고요.

AI가 모든 문제를 푸는게 아니라 AI가 문제의 일부를 매우 잘 해결하는 거고, 지금 예시로 들고 계신 것들은 AI를 쓰지 않아도 기술적 해결이 불가능한 것이 아니니 거기에 대해 계속 그 문제를 해결하는데 AI가 필수가 아니라고 이야기하고 있는 거죠. AI가 필요 없다고 이야기하는 것이 아니라요.
미래가 AI에 있다는 걸 부정할 생각은 전혀 없습니다. 그런데 아직은 AI를 사용하지 않은 기술이 그 정도로 저평가를 받을 만큼 AI를 활용했을때와 아닐 때의 격차가 큰 시기가 아닙니다. 보다 좋은 결과를 만들기 위해 필요한 "다른 기술적 기반"들이 앞으로도 꽤 있을 거고요. 심지어 현재는 그 "다른 기술적 기반"조차 엔비디아가 제일 잘 찾고 있지요.
FSR 2.0이 나온 것도, FSR 2.1의 성능이 FSR 2.0보다 빠르게 좋아진 것만 해도 먼저 시장에 나와 있는 기술들을 참고할 수 있어서지 AMD의 기술적 역량이 썩 대단해서가 아니고, AMD조차도 곧 자기네 GPU의 AI 연산 능력이 강화되면 AI를 이용한 업스케일로 넘어가겠죠. 언리얼 같은 곳이야 범용성이 중요하니까 계속 AI 없이 버텨보려고 할 것 같지만요.

그런데 그렇다고 해서 AI 없이 해결할 수 있는 문제를 AI가 있어야만 해결할 수 있다고 이야기를 할 순 없다는 겁니다

[RouletteDice]

모션 벡터 활용하는 방법의 알고리즘 개선은 메인 메소드를 인간이 재작성한게 아니라, AI 모델을 개선한 거죠. 모션 벡터는 신경망이 받는 정보고 거기에 대해서 알고리즘을 수동이 아니라 딥러닝으로 처리한다가 DLSS의 메인 포인트고요. 들어온 인풋을 어떻게 처리할지에 대해서 일일히 고민하는게 아닙니다.

그런 식으로 말하자면, DLSS가 이미지를 "만들어낸다"라고 했을 때, 1.0이든 2.0이든 참고할 픽셀 데이터가 필요하다는 점에서 "만들어낸" 적은 없는 거죠. 말장난이 되는데 결국 계속 말하고 있는 건 인공신경망은 학습을 통해 지금 그려내는 픽셀이 뭔지에 대해서 판단을 내려서, 케이스 바이 케이스로 대응할 수 있다는 점에서 "없는 정보를 만들어낸다"고 하는 거고요. 기본적으로 매 프레임에서 현 픽셀과 이전 픽셀의 관계에 대해서는 AI 없이는 판단이 불가능하니 그걸 "여러 시간대에 걸쳐서 정보가 샘플링되다보니 정보량이 많아서 그렇다"라고 TAA와 섞어서 말하면 안 되죠.

[RouletteDice]

TAA, 그러니까 이전 시간 정보를 활용할 수 있는 방법론에서도 말씀하셨다시피 이 시간 정보를 활용하는 방법은 현실적으로 제약이 되죠. 체커보드가 매 프레임 번갈아가며 픽셀의 코너만 렌더링한 다음, 이 두 프레임이 다 렌더링되면 이걸 통해서 가운데에 있는 진짜 픽셀 정보를 중간값으로 추론하는 방식이었죠. 여기에 대각선 앨리어싱 문제 해결하려고 45도 꺾어서 했고요. 그 결과는 두 프레임의 손실과 항상 중간값으로 구성된 흐린 이미지였죠. 항상 화면 모든 픽셀을 추론의 대상으로 삼기 때문에 고전적 방식에서는 여기다 모션 벡터 결합하는 정도가 최대로 작동했고요.

[RouletteDice]

그리고 뭐 있죠? 바하 요새 작품에서 옛날 옛적 생각나게 만드는 인터레이스 렌더 후에 TAA로 결합한 거, 레데리가 PS4에서 인터레이스 가깝게 쓴 사례 있겠네요. 뭐 기기 생각하면 잘 나온 편이긴 한데 현실적으로 마법은 없었죠. 아시다시피 모션 벡터나 뎁스를 인풋으로 받아도 중요한건 그걸 기준으로 삼아서 이미지를 어떻게 처리할 것인가 하는 알고리즘이잖아요. 사람이 일일히 화면에 보이는 픽셀을 판단할 알고리즘을 짤 순 없어요. 그래서 움직이는 것만이라도 해결하자 하고 나온게 모션벡터인데, 이것도 "판단"에 사용하기엔 기준이 너무 복잡해서 원하는 결과물을 제대로 못 내죠. 그런데 ai는 일단 지금 그 각각의 프레임에 존재하는 픽셀에 대한 판단을, 어쨌거나 해내고 있잖아요.

[RouletteDice]

엔비디아에서 말한 내용, "DLSS sometimes provides even higher detail than native rendering because every frame is giving us different sets of samples about how things should look." 에서 every frame is giving us different sets of samples에 주목하셨는데, 여기서 더 중요한건 how things should look. 이죠. 화면 픽셀 데이터, 모션벡터, 뎁스 버퍼, 노출 뭐 받아도, 아시겠지만 그걸 어떻게 처리할지를 고전적인, 인간이 손으로 짠 알고리즘으로 해결할 수는 없어요.

뭐... 이런거 연산 도우려고 나중에 뭐 부가적인 정보를 전달할 수도 있겠죠? PS1 시절엔 z버퍼도 없었으니까요. 그런데 그런 식으로 정보 늘여도 그 정보에 맞는 적합한 렌더링/앨리어싱 수단을 머리 쥐어짜내서 만들고 시험해보는 것보다 AI의 처리 보조 수단으로 돌리는게 더 빠를 거고요.

TAA 2, 3픽셀 있는 걸 해결 못한 건 그 TAA 구현체의 문제다, 라고 해버리면 맞죠. DLSS에서는 상당히 해결했는데 DLSS도 TAA의 일종이니까 그렇게 말하지 못할 건 뭐에요. 그런데 문제는 우리가 대체 무슨 수로, 수기로 멀리 떨어진 2, 3픽셀. 이전 프레임 정보를 가져와도 8픽셀이 안 되는 검은색 픽셀을 나뭇가지로 판단해서 중간 픽셀을 채울지, 그 기준을 무슨 수로 정해주냐죠. 사람이 직접 고전적인 방식으로 짠 알고리즘으로 이걸 성공적으로 수행한다? 본인도 아시겠죠. 그래서 모공 이야기 하시면서 인정한 거고요. 결국 이런 레벨에 이르르면 고전적 TAA의 성공적인 적용은 말 그대로 이론적으로만 가능한 거고요. 현실적으로는 결국 AI 쓰는게 맞다는 거죠.

[압록강]

그냥 다 떼놓고 이야기해서, DLSS에서 모션 벡터를 이용해서 이전 프레임의 픽셀과 이후 프레임의 픽셀을 매치시키는 건 신경망이 아니라 알고리즘적으로 처리됩니다. 그래서 이전 픽셀과의 관계를 DLSS가 자동으로 판단하는게 아니라 개발자가 DLSS에 넣어주는 입력에 의존하게 되어 있고요. 입력으로 들어가는 모션벡터도 per-pixel motion vector라서 DLSS가 모션벡터를 가지고 어느 픽셀이 어느 픽셀에 매치되는지 알아서 잘 판단해주는게 아니라 애초에 개발자가 픽셀간의 관계를 DLSS에 정확하게 입력으로 넣어주게 되어 있습니다. 당연히 정보가 잘못 들어가면 문제가 생기고요. 이런 정보는 잘못 넣기 쉬워서 엔비디아에서 관련 디버깅을 쉽게 도와주는 개발툴도 제공하고 있습니다. 엔비디아가 발표할때는 신경망에 모든 입력이 들어가고 신경망이 결과로 이미지를 뱉는 것처럼 모식도를 그려서 오해하셨을 수 있는데, 생각하시는 DLSS의 구현이랑 현실의 DLSS 구현이 달라요.

심지어 계속 지적하시는 얇은 기하학적 정보를 가진 대상을 렌더링할때 발생하는 문제에 대해서도 DLSS가 저해상도에서 끊겨서 렌더링된 나뭇가지를 알고리즘적으로 자동으로 채워서 보여주는게 아니라 개발자들에게 보수적 래스터라이제이션(오브젝트가 픽셀 안에 걸쳐 있으면 그 비중이 아무리 적더라도 무조건 화면에 렌더링하도록 하는 기술입니다. 첨부된 그림을 참고하세요. 엔비디아 아키텍처에서는 맥스웰부터 추가됐습니다)을 이용해서 오브젝트를 렌더링 해서, 입력에서부터 물체가 끊기지 않게 들어오게 만들 것을 요구하고 있고요. 계속 드시는 예중에 모공이야 텍스처에 올라가 있으니 빠르게 움직이는 사람의 모공을 제대로 표현하려고 하면 휴리스틱적으로 풀기 위해서는 굉장히 잘 해야 하겠습니다만(가만히 서 있고 움직임이 적은 사람이면 당연히 고전적 알고리즘으로도 됩니다. 제가 Control은 안 해봐서 그 사람이 해드벵잉을 해서 안 될지 아니면 될 수준인지는 모르겠네요), 전깃줄이나 나뭇가지같은건 건 DLSS가 마법처럼 해결해준게 아니라 DirectX API 호출 결과가 애초에 선을 안 끊기게 만들어 준 걸 활용하는 겁니다. 상상하시는 것처럼 DLSS가 여기 선이 끊긴 것 같으니 이어 그려야지 하는게 아니에요.

DLSS가 마법같아 보이지만 실제로는 이것도 다 사람 수작업에 의존하는 기술입니다. 미래의 DLSS는 몰라도 DLSS 2는 그래요.

[RouletteDice]

보수적 래스터라이제이션은 픽셀이 아예 렌더링되지 않아서 DLSS에 전달될 픽셀의 모션 데이터도 없는 경우에 쓰는 거죠. 일단 픽셀 데이터가 전달된 경우에는 DLSS가 원본 구조 유지에 도움이 된다고 명시하고 있구요.

[RouletteDice]

얇은 오브젝트의 경우에도 일단 1픽셀이라도 렌더링된다면 모션 벡터가 같이 전달되기 때문에 DLSS가 기하학 구조 재구성에 성공할 수 있구요. 이것만 해도 이미 어렵죠. TAA는. 근데 보수적 레스터라이제이션은 이게 화면 움직임상 아예 렌더링되지 않는 경우에 쓰는 예외적 케이스인데 이거를 들면서, 벡터 데이터만 있으면 구조 재구축에 성공할 가능성이 있는 DLSS를 종래의 TAA와 동일하다는 식으로 말하면 안 되는 거죠.

[압록강]

모션데이터가 없을 때가 아니라, 모션데이터는 있는데 그 픽셀에 해당 오브젝트가 안 보일 때 쓰는 거죠. 아무튼 이게 중요한 건 아니고.

픽셀 데이터가 전달이 된 상황에서는 신경망이 처리를 잘 해주니 DLSS가 원본 구조 유지에 도움이 되는 건 맞지만, 얇은 오브젝트에 대한 AA를 하면서 휴리스틱적으로 원본의 모습을 유추해서 화면에 표시하는 것 같은 건 오래된 연구인데 AI가 없으면 이게 불가능하다고 어떻게 쉽게 단언하시나요? 당장 위에 제가 링크를 건 레데리의 FSR 2.1만 해도 결과물에서 보이는 전깃줄이 뭐 그리 괴멸적인가요? (물론 FSR 2.0은 괴멸적이었죠)

저는 DLSS를 종래의 TAA랑 동일하다고 이야기 한 적 없어요. FSR을 종래의 TAA랑 마찬가지니 아무것도 아니라는 식이라고 이야기 할 수 있다면 DLSS도 마찬가지로 단순한 TAA라고 이야기 할 수 있다고 했지요.
애초에 FSR 2에서 품질을 개선하기 위해 사용하는 이런저런 테크닉들은 온갖게 다 DLSS의 영향을 받은 거고(그래서 잘 만지면 DLSS에서 FSR로 DLL 교체해서 호환도 됩니다. FSR에서 DLSS로도 돼요), 다른 건 여러 사전 프레임의 현재 픽셀과 대응되는 픽셀(카메라 저더로 증폭하고 모션백터를 통해 매칭한)을 바탕으로 현재 프레임의 픽셀을 어떻게 블렌딩해서 보여주는지 판단을 휴리스틱으로 하냐 AI가 하냐의 차이인데, 이 "온갖게 다"가 마지막 단계의 휴리스틱-AI 차이보다 큽니다.

물론 마지막 단계의 휴리스틱-AI 사이 차이도 중요하긴 하죠. 그런데 훨씬 중요한게 저 "온갖게 다"라는 거예요.
RouletteDice님은 저 마지막 단계의 차이를 굉장히 크게 보시는 건데, 저는 거기 동의하지 않습니다.

[RouletteDice]

DLSS can sometimes help reconstruct some of that missing geometry but in order to do that it needs accurate motion vectors.

Because those features went out of view, neither the color nor the motion vector for that missing feature is present in the input that is sent to DLSS. In that scenario shown below, DLSS will incorrectly associate the previously drawn image of that object with the motion vector of the background.

In that scenario, instead of trying to mend the holes in the object drawing, those holes will persist.

[RouletteDice]

모션 벡터가 있는 한은 dlss가 이미지 재구성에 성공할 수 있어요. 픽셀이 표시되지 않으면 모션 벡터 데이터도 당연히 dlss에 안 넘어 오니까 렌더링이 안 되는 거죠. dlss가 받는건 per pixel motion vector니까.

[RouletteDice]

그리고 얇은 단계의 오브젝트가 문제가 되는 경우는, 오히려 정 반대가 있어요. 위에 스샷으로 올린 야자수나 반복적인 그물망 같은 케이스죠. 이렇게 촘촘한 오브젝트를 재구성할 때 TAA는 Jitter 수행하면서 잘못된 픽셀값을 참고하기 쉽고, 그 결과는 원경으로 보이는 나무의 유화처럼 떡진 이미지죠. 잘못된 픽셀 정보를 참고해서 나오니 고스팅이나 다름없는 문제인데 인근 픽셀 정보로 걸러내자니 촘촘한 오브젝트는 그것도 쉽지 않은데, DLSS는 이 부분을 실제로 알고리즘으로 넘어가고 있고요. 모공도 결국 같은 측면이고요.

[압록강]

인용한 문장에서는 "it needs accurate motion vectors."가 제일 중요한 부분이고요. 거기서 reconstruct 할 수 있다고 이야기하는 건 정확한 모션 벡터가 있으면 이전 프레임을 통해 얻은 픽셀들을 통해 슈퍼샘플링과 같은 수준의 정보를 획득할 수 있고, 그걸 이용해서 현재 프레임만으로는 정확하게 판단할 수 없는 기하학적 정보를 포함한 결과를 보여줄 수 있기 때문입니다.
그래서 아래 문장처럼 입력으로 들어오는 feature가 missing 되어 있으면 missing geometry를 reconstruct하지 못한다고 이야기하는 거고요. DLSS 2.0이 말씀대로 이게 전깃줄인지를 파악하고 픽셀을 그릴때 없는 정보를 활용하는 걸 정말 잘 해낸다면, "DLSS will incorrectly associate the previously drawn image of that object with the motion vector of the background." 할 이유가 없죠.

[RouletteDice]

당연히 한계가 있죠. 애초에 인풋이 정확히 들어오지 않으면 신경망의 아웃풋이 멀쩡할 리도 없으니까. 모션 데이터가 있으면 재구축할 가능성이 있다는 건데, 지금 FSR이나 종래 TAA나 얇은 오브젝트는 다 조지고 들어가는 판에 이거만 해도 어딘가 싶은데요.

당장 종래 TAA나 FSR이나 주인공이 촘촘한 철조망 앞에서 살짝 걷기만 하면 바로 화면 지글거리는데 이게 결국 앞에서 중요하게 말한 "눈에 보이는 차이"죠. 이거를 고전적인 방법론으로 인간 손으로 극복하겠다고요? 대체 뭘 해야 이게 될까요.

[RouletteDice]

만약에 정확한 모션벡터의 존재만으로 얇은 오브젝트의 고스팅, 끊김, 번짐 문제가 TAA에서 해결 가능했으면 이런 논쟁도 필요 없죠. 이미 다들 행복할 테니까요. 야자수 철조망 전선 뭉치 머리카락이 뭐 아주 겜에 안나오는 것도 아니고.

https://www.youtube.com/watch?v=mZM_6WYECDY

하 와이어 엄청나네요. 환기구에서 팬이라도 돌아가고 있다고 생각해봐요 어떻게 보일지.

[압록강]

글쎄요. 거기서부터는 어떤 기술을 어떻게 더해나가는지의 영역이라서요. 저렇게 얇은 오브젝트는 모션벡터가 있어도 알고리즘이 그 모션벡터가 배경의 모션벡터인지 그 위에 있는 선의 모션벡터인지를 잘못 판단하기 쉽고 그걸 잘못 판단하면 저런 종류의 고스팅이 생기는 건데요. 이런 걸 엔비디아가 AI 모델로 해결하는 대신 좋은 휴리스틱을 만들 수 있으면 괜찮을 거고 아니면 힘들겠죠. 주변에 있는 비슷한 색상의 오브젝트가 가진 모션 벡터가 유사하면 같은 오브젝트의 모션 벡터로 본다거나 하는 식으로 접근하지 않겠어요? 여기서부터는 제가 직접 만들 일은 없는 부분이라

https://www.youtube.com/watch?v=rqWrLYgQd1k
그런데 DLSS 2.0이 출시시에 어땠었는지를 생각하면 현 시점의 결과를 가지고서 쉽게 불가능하다고 이야기 할 수 있을지 모르겠네요. 이때만 해도 고스팅때문에 절대 못쓰는 기술이라는 이야기가 많았었는데

https://youtu.be/hrDCi1P1xtM?t=54
AI를 쓴 DLSS 2.3만 해도 알고리즘 기반 TAA인 TSR보다 결과가 나쁜 경우도 있었지요.

DLSS쪽도 안정화 됐다고 할만한 건 2.4정도까지 와선데, 이건 2.0 나오고 2년 뒤라서요. AI를 쓰는 것만으로 저런 문제들이 마법처럼 다 풀렸으면 2년씩이나 안 걸렸겠죠.

[웹떠돌이]

암드에 비해 하드웨어 깡성능은 많이 오른게 아니라 전세대 25%~50%수준이라. 아예 새로 설계한 암드보다 전세대에 비해 체감 성능이 크진 않음 레이트레이싱 DLSS 3.0조합이 아니면 레이트레이싱 안 쓰는 게임 할거면 굳이 살 필요 없고 DLSS 3.0 이거 싱글 플레이 전욘 기능이라 온라인 FPS 게임이나 온라인 게임엠 도움이 안될거 같은 기능임. 2000번대 카드처럼 신기술 적용 후 비싸게 팔자임. DLSS 3.0 지원 안하는 게임에선 성능 그렇게 많이 좋진 않고. 레이트레이싱 적용해서 평균 59프레임 낼 정도 수준 스펙인데 가격 전력 발열은 심함. DLSS 3.0 기술도 발열 잡으려고 낸 기술 같고.

[압록강]

본질적으로 프레임 증폭 기술들은 어떤 기술이든지간에 연산량을 줄이면서 유사하거나 나은 결과를 내는게 목적인 기술이라서, 말씀대로 발열 잡으려고 낸 기술이라는 표현이 정확합니다. 이건 어느 회사의 어느 기술이든 마찬가지예요.

[Patetiso]

스팀유저입장에서 DLSS는 갓옵션이 맞음. 4k 60fps 네이티브 가능해도 dlss 있으면 켜고 봄. 전력소모 발열 전부 줄어들고 시스템 부하도 덜한데 안켤 이유가 없음.
근데 몬헌라이즈같은 게임은 이상하게 켜면 그래픽이 심하게 뭉개지더라..특히 가루크 아이루 털표현이 ㅇㅇ

[InThisMoment]

러브크래프트라고 이름붙여야 할 것 같은데.... 게이머들에게 가격의 절망과 전력소비의 공포를 안겨주고 있으니

[루리웹-0146012932]

Dlss 3.0 프레임 보간기술 베스트 시나리오를 가정해도 결국 응답속도는 네이티브 프레임을 넘어설수 없죠. 보이기만 120프레임이고 게임 내부 연산속도는 30프레임이라 30프레임 조작감일 거 같음

[루리웹-0146012932]

이걸 또 고려해서 콘솔레이싱게임처럼 내부연산은 120프레임이고 프레임 렌더랑 분리한다고 할수도 있겠지만 엔비디아 발표자료를 보면 cpu병목 상황시 효과가 좋다 이러고 있어서…아닐거라고 보임

[웹떠돌이]

차라리 프레임을 올릴려면 텍스쳐 압축 기술을 쓰는게 더 나아보입니다. 로딩이랑 평균 프레임이 같이 증가 하니까요. 4K 고해상도 텍스쳐를 2k급으로 압축해서 뿌려주면 되니. 퀄리티를 보정해주는 AI 기능을 여기다가 쓰고.