[잡담] dlss의 원리는 뭘까

[음덕음덕]

내머리로는 상상조차 안됨

방송같은건 다음 장면이 정해져있으니까

그 사이에 이미지를 넣는 식으로 프레임 올릴수 있을것 같은데

게임같은건 플레이어가 어떤 행동을 할줄 모르는데

이걸어떻게 프레임을 올리는거지???

[Lapis Rosenberg]

AI 딥러닝?
모르겠어...

[니니아]

그걸 딥러닝으로 계산해서 하는 거라서 'dl'ss

[Lapis Rosenberg]

dlss 달린겜들은 여기저기 갈 수 있는게 많은데 그걸다 계산했어?

[음덕음덕]

그러니까 같은 게임을 하는 수만명의 게이머들로부터 학습해서 이상황에서는 이런 행동을 플레이할것이다 그러므로 그전에 이미지를 삽입한다 이런건가??

[니니아]

행동 예측? 무슨 말인지 모르겠는데
걍 저화질을 AI를 이용해서 고화질처럼 보이게 보정하는 기술임

[음덕음덕]

그건 업스케일링 아녀??

[니니아]

애초에 DLSS가 업스케일링 기술 중 하나임.

[강화인간]

Ai가 알아서 판단해서 만드는 거임
팔을 가로로 피고 다음이 위로 하는거면
사이에 45도 그림을 넣음

[음덕음덕]

뭔가 알것같기도 하군 게임에서 애니메이션은 사전에 제작한 이동정보이니 팔이 올라간다면 해당 애니가 시작되는 부분부터 끝나는 애니 사이에 이미지 계산해서 넣어주는 건가??

[루리웹-9037083882]

미세하게 한두프레임 늦는건 유저가 인식 못한다라는
그런 맹점을 노린 기술 아닐까

[뉴비마스터]

dlss는 어떻게 작동하는지 정확히 모르겠지만 일반적인 프레임생성기술은 실시간이 아님
최소 한프레임정도 버퍼를 가지고있기때문에 해당기술 사용시 딜레이 느끼는사람도 있는것도 그런 이유중 하나

[최면두꺼비 대왕]

유저가 입력해서 컨트롤 가능한 시간은 최소 타임이 정해져있으니
그 시간을 AI로 채워넣는거지

[buast]

ㅈㄴ 간단하게 말하자면
사용자가 정해 놓은 해상도를 글카가 받아 들일 때 해상도가 열화된 상태로 받아 들인 뒤에
글카가 그걸 업스케일링 해서 선명하게 만든뒤 화면에 보내는걸로 암

[음덕음덕]

??그건 업스케일링 아님??

[BB-61]

dlss 자체는 업스케일링 기술임

[buast]

dlss가 그 기능임
딥 러닝 슈퍼 샘플링

[buast]

dlss fg 말하는거면
프레임과 그 다음 프레임이 움직이는걸 글카가 미리 계산 한 뒤에
그 사이에 프레임 한장 더 하는 기술이라 dlss 보다 연산 부하가 더 심함
그래서 전용 코어가 없다면 인풋렉이 높고 잔상이 잘 보인다는 단점이 있음
로스리스 스케일링이 대단한게 소프트웨어식 fg인데도 잔상이 매우 적음

[음덕음덕]

그니까 게임 애니메이션은 프레임 기반으로 재생되는데 글카가 다음 프레임을 미리 보고 그 프레임 전에 중간 프레임을 넣어서 fps를 늘린다는겆죠???

[buast]

ㅇㅇ 사람이 알아 채지 못할 정도로 먼저 계산해서 화면에 뿌리는거
한번 글카에서 계산 뒤에 보여주는거라 아무래도 인풋렉 높은건 어쩔수 없음
그래서 엔비디아 리플렉스 같은걸로 인풋렉 줄여 줘야 됨

[BB-61]

dlss가 아니라 프레임 제네레이션(FG) 아님?
dlss 자체는 20/30번대 모델들도 적용이 되는거라....
사실 30시리즈하고 40시리즈하고 플래그쉽급 이하는 순전히 FG 유무로만 성능차이가 남

[음덕음덕]

dlss가 프레임도 올려주지 않음??

[니니아]

프레임은 당연히 해상도가 저화질로 내려가니까 높아지는 거고
그걸 AI로 업스케일링 해줘서 보정해주는 기술이 DLSS

[BB-61]

dlss로 프레임을 올려주는건 업스케일링을 통해서 벌어둔 리소스를 퍼포먼스에 투자한다는건데
종래의 전통적인 업스케일링은 화면의 품질 저하를 유발함.
근데 dlss는 이미지 보간을 ai가 맡아서 커버를 해주기 때문에 이미지 저하에 대한 눈속임 능력이 뛰어난거
즉 프레임 제네레이션 기술이 나오기 전 dlss는 그런식으로 퍼포먼스 향상을 도모해주는거임

[음덕음덕]

ㅇㅎ ㄱㅅㄱㅅ

[BB-61]

그리고 프레임 제네레이션은 여기 다른 사람들이 쓴것처럼 프레임과 프레임 사이를 ai가 연산해서 프레임을 생성해서 끼워넣어줌
이것때문에 프레임 부스팅이 일어남

[Wii1]

다음 프레임 올라오기 전의 그 짧은 시간안에 보간하면 됨

[음덕음덕]

그럼 아주 짧지만 딜레이 생기는건가?

[Lmjfemc]

dlss 종류가 많은데 fg는 입력 픽셀당 모션벡터도 인풋으로 넣어줘서 그 모션벡터 기반으로 만듬

[음덕음덕]

모션벡터가 뭔가오 선생님

[Lmjfemc]

설명 길어지는데...
dlss fg는 일반적인 프레임 보간처럼 그냥 두 프레임 사이를 단순히 예측하는게 아니라 3d공간의 객체 움직임을 연산해서 그 중간값을 가지고 화면을 그림

그 움직임 값이 모션벡터

[음덕음덕]

구니까 이미지를 넣는데 과거에는 화면의 댑스가없이 1장이었다면 모션벡터는 사물의 깊이나 위치(3d좌표값)까지 고려해서 이미지를 넣어준다는 거죠??

[Lmjfemc]

대강 맞워요 그래서 이건 게임같은 3d엔진이 있어야 제대로 작동함
영상같은거 보간 대비 입력정보가 더 좋음

[음덕음덕]

ㅇㅎㄱㅅㄱㅅ

[부엉가이거]

곰곰히 생각하다보면 소스는 몰라도 원리 정돈 이해 할수 있어

dlss초기엔 그냥 해상도를 낮춰서 성능을 보조해주는건데 쉽게 다른 ai칩쪽에서 원래해상도처럼 보이게끔 보정해주는거
이거 10년전 고급형tv에도보면 화면 보정기능들 있었자늠 화면뭉그러짐 현상을 보정해주는 기능들 그걸 ai칩이 대체되어 해준다는거
ai는 딥러닝이라고 자가학습이 되다보니 쓰면 쓸수록 더욱 원래 해상도처럼 지가 자동으로 공부하면서 보정해주는거

현재의 dlss는 추가로 내가 손가락 숫자로 1,2,3을 세는데 1,3의 화면밖에 없을때 손가락 2 브이자를 자연스럽게 만들어준다는거
그렇게 ai가 자가학습을 통해 순간적으로 1,3 손가락 프레임에 2프레임을 넣어서 같은 시간내에 2개의 프레임을 3개로 늘려서 부드럽게 보이는거
그래서 원래는 30프레임으로 뚝뚝 끊기는 게임이 몇배로 뻥튀기되서 120프레임처럼 착각으로 보여준다라는거
착각으로 순식간에 보여주려하다보니 연산처리시간이 필요해서 지연시간이 생길수밖에 없는게 현실 기술이라는거