[기사 본문] PS5와 PS5 프로의 리드 아키텍트인 마크 서니(Mark Cerny)가 캘리포니아에 위치한 소니인터랙티브엔터테인먼트(SIE) 사옥에서 기술 세미나를 실시했다. 주제가 주제이다 보니 주로 기술적인 내용에 치중되어 있지만, PS5 프로 뿐만 아니라 3D 그래픽 기술에 관심이 있는 분들께 도움이 될 듯하여 정리해 보았다.

SIE는 역사적으로 7년마다 기술 촉진 타이밍이 도래, 새로운 세대의 콘솔을 발매해왔는데, 이처럼 세대 교체에는 보다 강력한 CPU와 GPU가 뒷받침되어야 하며, PS4에서는 컴퓨터 쉐이더, PS5에서는 SSD와 3D 오디오 같은 신기능이 도입되었다.

다만 PS4 프로 이후 PS5 프로처럼 세대 중간에 콘솔을 발매하는 경우가 발생하는 것은 주로 GPU 성능 강화에 기인하기에, 프로 콘솔의 목표는 세대 교체와는 사뭇 다르다. 프로 콘솔을 위해 게임 크리에이터가 해야 할 작업은 최소화 되어야 할 필요가 있고, 사용자에게는 보다 좋은 플레이 경험을 제공할 필요가 있다.

콘솔 설계에는 4년 가량의 시간이 필요한데, 이는 2024년 PS5 프로를 발매하기 위해 PS5가 발매되기도 전인 2020년부터 기능 검토에 들어갔다는 뜻이다. 그래서 개발팀이 초점을 맞춘 세 가지 주안점은 대형화된 GPU, 레이 트레이싱 업그레이드, AI 기반 업스케일링이며, 이 중 업스케일링은 머신러닝과 AI 라이브러리에 의한 PSSR로 화상의 선명도와 세부 재현을 대폭 향상시킨다.

PS5는 RDNA2 GPU로 18 워크 그룹 프로세서(WGP)를 갖추고 있다. PS5 프로에는 30 WGP의 하이브리드 RDNA GPU가 탑재되는데, 이는 RDNA2.x(RDNA3 기술 수용) 기반으로 미래 RDNA의 레이 트레이싱과 커스텀 RDNA의 머신러닝을 포함하고 있다.

메모리는 28% 빨라진 576GB/s의 GDDR6 RAM으로 속도를 높였으며, PSSR과 레이 트레이싱, 랜더링 해상도 증가를 위해 1GB 이상 용량을 증가시켰다. 이를 위해 PS4 프로와 마찬가지로 숨겨진 저속 RAM(DDR5)을 추가, OS의 상당 부분을 이전하는 방식으로 실현했다.

RDNA2.x를 기반으로 한 이유는 중간 세대 기기라 하나의 패키지로 오리지널 기기까지 지원하려 하기 때문이다. GPU 상에서 구동되는 쉐이더 프로그램 같은 경우 RDNA3로 컴파일 하면 PS5에서는 동작하지 않는다. 그럼 2개를 별도로 만들어야 하기 때문에 복잡해질 수 밖에 없다. RDNA2.x는 RDNA3의 많은 기능을 가져왔지만 복잡도를 높일 요소는 배제시켰다.

PS5 프로의 성능에 관해 잘못 알려진 정보로 '33.5TFLOPS'라는 것이 있는데, 이러한 오해의 원인 중 하나로 RDNA3 아키텍처가 RDNA2 대비 부동소수점연산이 2배의 피크 성능을 가지고 있다는 점이 있지만, 실제 퍼포먼스가 2배가 되지는 않고, 성능 향상의 보너스를 얻기 위해선 재컴파일을 할 필요가 있다. (그러나 앞에서 언급한 것처럼 각 코드마다 두 가지 버전을 준비하는 것은 개발 부담이 크다.)

정확한 PS5 프로의 사양은 30 WGP로 워크 그룹 프로세서가 67% 증가한 만큼 일반적인 동작 주파수인 2.17GHz를 상정할 경우 FLOPS도 67% 증가한 16.7TFLOPS가 된다. 단 중요한 것은 GPU의 실제 퍼포먼스이다. 67% 증가한 워크 그룹 프로세서는 처리 속도 67% 향상이라는 테스트 결과를 보여주지만, 실제로는 메모리 대역폭이나 특정 게임 엔진이 새로운 아키텍처에 반응하는 등 다양한 요소의 영향을 받는다.

이로 인해 실제 게임에서 보여지는 랜더링 속도 향상은 45% 정도가 현실적이며, PS5에서 60fps로 동작하는 랜더링에 16ms 걸리는 프레임이 PS5 프로에서는 11ms에 랜더링 된다. 이렇게 남는 여유 시간 5ms에 레이 트레이싱 같은 새로운 기능을 사용하게 되는 것이다.

레이 트레이싱은 PS5 발매 전인 2020년에도 반사나 조명 개선을 위해 사용했지만 광선의 계산 코스트가 매우 높아 같은 해 후반 PS5 프로 개발을 개시할 때는 연산을 고속화하는 방법을 찾는 일을 최우선 과제의 하나로 삼았다. 그리고 AMD와의 협력을 통해 PS5 프로에서는 우수한 기능을 실현할 수 있었다.

퍼포먼스 향상에는 두 가지 측면이 있다. 워크 그룹 프로세서 67% 증가와 새로운 기능에 대한 각 프로세서의 처리 능력 향상.

때문에 속도 향상을 정확히 표시하기 어려우며, 광선의 연산 속도가 PS5의 2~3배가 되는 케이스도 드물지 않다. PS5 프로에서 가장 영향력 있는 신기능은 새로운 액셀러레이션 구조와 하드웨어에서의 스택 관리이다.

PS5에서 레이 트레이싱을 사용하면 시스템 메모리 내 지오메트리를 기술하는 데이터(예를 들면 100만개의 삼각형 데이터)가 필요하다. 그리고 각 워크 그룹 프로세서 내에 있는 인터섹션 엔진을 사용하여 광선이 이들 100만개의 삼각형의 어디에 맞는지 또 최초에는 어느 것에 맞았는지 확인해야 한다. 100만개의 삼각형 전부 광선을 개별 테스트 하려면 시간이 너무 걸리기 때문에 데이터 구조 내에 박스가 포함된다. 이들 박스로부터 레이 트레이싱 하드웨어는 교차 가능성이 있는 삼각형을 보다 효율적으로 줄일 수 있다.

이들 박스는 실제로는 계층 구조로 되어 있어 큰 박스부터 시작하여 점점 작은 박스를 찾게 된다. 박스에 맞을 때마다 그 내부에 네스트 된 박스를 차례로 테스트 하여 최종적으로 테스트 할 수 있는 삼각형을 찾는 것이다.

이러한 삼각형과 박스를 묶어 액셀러레이션 구조라 칭하며, PS5에서는 BVH4라고 하는 타입의 액셀러레이션 구조를 사용했다. BVH란 바운딩 볼륨 하이어라키의 약자로 박스의 계층 구조를 의미하고, 숫자 4는 박스가 최대 4개의 그룹으로 되어 있다는 것을 나타낸다.

인터섹션 엔진은 1 사이클에 최대 4개의 박스 혹은 하나의 삼각형에 대해 광선을 체크할 수 있다. 일반적으로 박스에 대한 체크 부하가 높아 이것이 광선 계산의 퍼포먼스를 좌지우지하는 요소가 된다. PS5 프로는 액셀러레이션 구조에 BVH8 옵션을 추가, 박스가 8개의 그룹으로 인코드 되어 보다 효율적이며, 인터섹션 엔진이 2배의 속도로 동작, 1 사이클마다 광선을 8개의 박스 혹은 2개의 삼각형에 대해 테스트 할 수 있다.

광선의 교차 속도가 2배로 늘면 이론적으로 레이 트레이싱 성능은 큰 영향을 받으나 현실 세계의 케이스에서는 분기 문제에 대한 해결책도 필요하다. 그래서 도입한 기능이 하드웨어에서의 스택 관리이다. 워크 그룹 프로세서는 32개 혹은 64개의 항목을 한 번에 처리한다. 여기에는 픽셀, 버텍스(정점), 광선 등이 포함되고, 이를 SIMD(싱글 인스트럭션 멀티플 데이터)라 부른다. SIMD32에서는 같은 조작을 32개의 항목에 대해 실행하며, 이는 32개 항목으로 모든 처리를 받는 경우 매우 효율적이다. 예를 들면 3각형의 32픽셀이 같은 텍스처 안의 위치로부터 읽혀진 후 32픽셀 모두에 라이팅 연산이 필요한 경우처럼. 이를 코히런트 처리라 부른다.

대조적으로 다이버전트(분기) 처리에서는 일부 픽셀이 특정 조작을 필요로 하고, 다른 픽셀이 다른 조작을 필요로 하는 경우이다. 이 경우 처리에는 배의 시간이 소요된다. 극단적인 경우 32개 항목 모두가 다른 조작을 필요로 할 수도 있을 텐데 그러면 처리 속도는 수십 배 늦어질 가능성도 있다.

그래서 32개의 광선이 동시에 처리될 때 분기의 도합이 퍼포먼스에 큰 영향을 미친다. 레이 트레이싱이 태양에서 심플한 그림자를 연산하는 경우 등 광선이 모두 평행할 때는 비교적 코히런트하게 처리되지만 광선이 곡면이나 요철이 있는 오브젝트에 반사되면 각각이 다른 방향으로 진행되는 식으로 극단적으로 분기하기 쉬운 경우도 있다.

PS5에서 분기한 광선을 처리하기 위해서는 복잡한 쉐이더 코드가 필요하다. 코드 일부에서 스택을 관리할 필요가 있으며, BVH의 내부 구조는 32개의 광선 각각이 다른 경로로 이 구조를 확인할 가능성이 있기에 매우 복잡하다. PS5 프로는 스택 관리가 하드웨어에서 이행되기 때문에 쉐이더 프로그램이 대폭 간소화된다. 코드가 짧아져 처리가 고속화되고 처리하는 케이스가 줄면서 분기도 적어져 실행 속도가 더욱 향상된다. 이렇게 되면 PS5용 긴 버전과 PS5 프로용 간략화 버전의 두 가지 버전이 필요해지지만, 이는 장면 내 광선의 진행을 계산하는 쉐이더 프로그램으로 한정되며 그렇게 자주 있는 일이 아니다.

종합하면 단지 퍼포먼스만 향상되는 것이 아니라 PS5 프로에서 보다 일관되게 높은 퍼포먼스를 얻을 수 있고, 이러한 일관성은 분기 처리의 개선에 의해 실현된다. PS5 프로에서의 퍼포먼스 테스트는 그림자나 평면에서의 반사 등 코히런트 한 케이스에도 양호한 향상을 보여주지만, 분기하는 케이스에는 더 큰 향상이 확인된다. 폭 넓은 케이스에서 일관적인 퍼포먼스를 발휘하는 만큼 레이 트레이싱을 사용하기가 쉬워진다.

마지막 GPU 개선점은 머신러닝에 관한 것이다. LLM(대규모 언어 모델)이나 생성형 AI는 매우 흥미있는 기술이지만, 그 외에도 머신러닝을 이용해 실현할 수 있는 구체적인 목표 - 게임의 그래픽 강화가 있다.

이 기술의 주요 활용법 중 하나는 게임의 랜더링 량을 줄이는 것이다. 4K TV에는 800만 픽셀이 있는데 게임이 그 일부, 예를 들어 1/4만 랜더링 한다면 처리 속도는 대폭 향상된다. 그 후 최적의 뉴럴 네트워크가 갭을 메워 고품질 화상을 생성하는 식으로 업스케일링 하는 것이다. 이를 초해상도(수퍼 레졸루션)라 부르며, 게임 화상의 랜더링 작업 경감을 목표로 하는 전략의 일부이다. 프레임 생성은 뉴럴 네트워크가 게임에 랜더링 된 프레임 사이에 추가 프레임을 삽입하는 기술인데, 이는 저 프레임 레이트의 게임에서 보이는 부자연스러움을 줄여준다. 한 걸음 더 나아가 뉴럴 네트워크를 사용해 노이즈가 많은 화상을 매끄럽게 하는 것도 가능하다. 이는 최적화된 레이 트레이싱에서 빈번하게 발생하는 문제이다.

SIE가 중점을 두고 있는 것은 초해상도 기술이다. 고품질 업스케일링에 의해 게임 랜더링 해상도에 대한 생각을 바꾸는 것이 주요 포인트로 아래 세 이미지를 단순히 생각하면 1440p 게임이 가장 우수하고 1080p 게임은 열화되어 보일 지 모르지만, 초해상도 처리를 거치면 모두 4K 해상도로 표시된다. 중요한 것은 최종 품질로, 라이팅과 머터리얼을 개선해 레이 트레이싱을 추가하면 각 픽셀의 랜더링에 걸리는 코스트가 증가하여 해상도는 낮은데 퀄리티는 상승하는 경우가 있다. 만일 업스케일링 기술에 의해 최종적으로 흐린 화상이 아니라 선명한 화상을 실현할 수 있다면 이것이 문제될 일은 없다. 달리 말하면 고품질의 초해상도 기술이 있다면 게임 크리에이터는 보다 적지만 풍부한 픽셀을 생성하는데 집중, 결과적으로 화상의 질을 대폭 끌어올릴 수 있다.

내부 랜더링 해상도가 주요 관심사가 아니게 된 세계, 그것이 SIE가 목표로 하는 세계다. 이러한 전략을 그래픽에 사용할 때 작업이 머신러닝에만 의존하는 것은 아니다. 뉴럴 네트워크의 앞뒤로 통상의 처리가 이행되는 경우가 많으며, 뉴럴 네트워크는 그 중간 부분을 담당한다.

구체적으로는 CNN(합성곱 뉴럴 네트워크)이라 불리는 종류의 네트워크로 초해상도용으로 간략화된 버전이다. (아래 그림은 PSSR에서 실제 사용하는 것과는 조금 다른 예시용) 머신러닝의 언어는 텐서라 불리지만 기본적으로는 각 픽셀에 몇 바이트의 데이터를 지닌 화상이다. 색이 있는 화살표는 네트워크의 층을 나타내고, 이들 화상을 처리한다.

그 층도 상당히 많은데 최초의 층을 확대해보면 입력은 4K RGB 게임 화상으로 게임에서 랜더링 된 것을 단순히 업스케일링 한 것이다. 이 최초의 층은 다수의 행렬 계산을 거쳐 새로운 4K 화상을 출력한다. 이제 각 픽셀에는 꽤 많은 정보가 포함된다. 예를 들어 입력된 게임 화상에서 뉴럴 네트워크가 발견한 모서리 등을 표시하여 16바이트 가량의 정보가 추가된다.

그 결과 얻을 수 있는 화상에는 게임이 랜더링한 내용에 대해 보다 깊은 이해가 반영되어 있을 수 있다.

개중에는 화상의 사이즈를 축소하는 층도 있다. 540p나 270p로 다운사이징 하여 뉴럴 네트워크가 입력된 게임 화상의 대규모 구조를 효율적으로 분석할 수 있게 해주기 위함이다.

이처럼 뉴럴 네트워크는 방대한 양의 계산을 실시하며, 각 입력 픽셀에 대해 몇 만의 연산이 이루어진다. 그리고 그러한 계산을 밀리 초 이내에 처리할 필요가 있다. 이 때문에 머신러닝용 하드웨어는 통상적으로 매초 수백조 회 연산이 가능한, 높은 퍼포먼스를 요구한다. 그런데 이를 TFLOPS라 부르지는 않는다. 이유는 정수 연산이기 때문이며, TOPS라 부른다.

SIE가 내린 최초의 결정의 하나는 그 행렬 계산을 담당하는 하드웨어를 어디에 배치할까 하는 것이었다. 머신러닝 기능을 GPU에 넣는 방법(추가 로직이 필요하므로 GPU가 대형화)과 NPU를 추가하는 방법(CNN의 전처리와 후처리에 불리할 수 있음)의 두 가지 선택지. 결정타가 된 것은 프레임 내에서의 그래픽 처리 순번이었다. 프레임 내 대부분의 랜더링이 1080p 같은 저해상도로 이루어진 후 머신러닝을 사용해 4K로 업스케일 할 때 업스케일이 종료될 때까지는 랜더링이 이루어지지 않기 때문에 뉴럴 네트워크를 가능한 빨리 처리할 필요가 있다. 즉 매우 강력한 머신러닝 하드웨어가 필요하고, 성능이 높으면 높을 수록 좋다. 그래서 파워를 추구하기 위해 GPU 강화를 선택했다.

다음으로 큰 결정은 이 기술을 어디서 준비할까 하는 것이었다. 2020년 PS5 프로 프로젝트를 시작할 때 초해상용 고품질 뉴럴 네트워크가 필요하다는 점을 인식했으나 SIE가 추구한 것은 일반적인 고성능 머신러닝 하드웨어가 아니라 특정 워크로드에 최적화된 것이었다. 전형적인 워크로드는 경량인 CNN에서 밀리 초 이내에 동작하며, 작은 레이어가 다수 있는 형태였다. SIE는 타사에서 기술을 라이선스 할 지, 독자적으로 구축할 지 선택을 해야 했는데, 기술 라이선스는 영원히 계속할 수 없기에 독자 하드웨어 및 소프트웨어 기술을 구축한다는 결단을 내렸다.

하드웨어는 RDNA 쉐이더 코어와 주변 메모리 시스템에 대해 목표를 정하고 일련의 강화를 행했다. 이것을 커스텀 RDNA라 부르며, SIE의 설계 사양에 기반한 커스텀 하드웨어이지만 전체적으로는 RDNA 아키텍처의 안에 있어 AMD의 RDNA 전문가에 의해 실장되었다. 피크 연산 성능 목표는 8비트로 300TOPS, 즉 1초에 300조회의 연산을 바이트 단위 입력으로 행하는 것이었다. 그러한 성능이 구체적으로 어떻게 기능하는가에 대해서는 많은 고려가 필요하지만, 그 정도 양의 순수한 성능을 추가하는 것은 아주 어려운 일은 아니다. 그보다 어려운 것은 메모리 액세스이다.

PS5 프로의 시스템 메모리는 576GB/s의 대역 폭을 제공하지만 300TOPS의 연산 성능과 비교하면 대역폭이 제한될 수 있다. 예를 들어 입력으로 1바이트를 읽어 들이면 버스 상에 2바이트의 전송이 발생한다. 시스템 밸런스 상 그 1바이트는 약 1천 회의 연산에 상당한다. 그 이상 연산을 행하면 시스템이 잘 설계되어 있을 경우 300TOPS가 효율적으로 활용된다. 하지만 그 이하인 경우 대역폭 제한에 의해 일부 머신러닝 성능이 낭비된다.

문제의 이해를 위해 네트워크 층의 하나, 제2층을 들여다 보면 입력 화상이 각 픽셀에 16바이트 정보를 가지고 있을 경우 시스템 버스 상에서 약 128MB에 상당한다. 예를 들어 1x1의 합성곱을 실행해 출력 화상을 쓰면 시스템 버스 상에서 128MB를 점유하는 것이다. 이는 대역폭에 의해 제약을 받기에 300TOPS 중 3% 정도 밖에 활용할 수 없다. 읽고 쓰기 만이 아니라 이 1층의 처리에 0.5ms가 걸린다. 이는 CNN 전체 처리 시간의 절반에 상당한다.

대역폭 문제를 해결하기 위한 전략의 하나는 층의 융합이었다. 입력 화상을 읽어 들여 제1층을 처리, 그 결과를 고속의 온칩 메모리 등에 보존하여 제2층이 신속하게 액세스 할 수 있도록 하는 방법이다. 그 결과 시스템 메모리로부터의 읽기와 쓰기가 각각 1회로 끝나 2층분의 CNN 처리가 가능해진다. 이 방법으로 300TOPS의 약 6%를 활용할 수 있게 됐다.

이상적인 형태는 완전히 융합된 네트워크로 이는 뉴럴 네트워크 실장의 궁극적인 목표이기도 하다. 완전 융합된 네트워크에서는 최초에 시스템 메모리로부터 입력 화상을 읽어들여 CNN의 모든 층을 온칩에서 처리, 최종 결과물을 시스템 메모리로 되돌린다. 이처럼 대역폭이 억제된 상태라면 300TOPS라는 성능이 처음으로 의미를 갖게 된다.

다만 해결해야 할 문제가 두 가지 있다. 첫 번째는 필요한 온칩 메모리의 양으로 4K 화상에는 800만 픽셀이 있으니 각 픽셀에 16바이트가 필요하다면 약 128MB가 된다. 온칩 메모리로서는 상당히 큰 용량이다. 다행히도 화면 전체를 한 번에 처리할 필요는 없다. 화면을 분할하여 한 번에 일부분만 뉴럴 네트워크에 보내는 경우, 그 일부분을 타일이라 부른다.

문제는 실제 타일을 처리할 때 모서리로부터 부정확한 데이터가 혼입되므로 일부 결과를 폐기해야 한다는 것이다. 타일이 작아질수록 파기해야 할 데이터의 비율이 높아지므로 타일 크기를 줄이는 것에도 한계가 있다. 따라서 완전 융합 네트워크를 실현하는 것에는 일정량의 고속 온칩 메모리가 중요한 요소가 된다.

또 하나의 문제는 온칩 메모리의 대역폭에 관한 것으로 1초에 수백TB의 데이터를 다룰 수 있는 대역폭이 필요하다. GPU의 L2 캐시 사이즈를 증가시키거나 이를 온칩 메모리로 사용하는 방법도 생각할 수 있겠으나 L2의 대역폭은 수TB/s에 지나지 않는다. 이 메모리 문제가 커스텀 설계의 출발점이 되었다. 그런데 실은 RDNA 아키텍처에는 합계 대역폭 200TB/s의 고속 온칩 RAM이 존재한다. 그래서 발상을 전환하여 PS5 프로는 워크 그룹 프로세서 내 벡터 레지스터를 RAM으로 이용한다. 각 워크 그룹 프로세서에는 128KB 크기의 4세트 레지스터가 존재하며, 대역폭은 1TB를 초과한다. 즉 30개 워크 그룹 프로세서로부터 합계 15MB의 메모리를 얻을 수 있고, 총 대역폭은 200TB/s에 달한다.

물론 로드맵 상에서는 RDNA 아키텍처와 명령 세트에서 레지스터 RAM을 보다 효율적으로 활용하기 위해 몇 가지 수정이 필요했으며, 최종적으로 44개의 새로운 쉐이더 명령을 추가했다. 이들 명령은 레지스터 RAM으로의 유연한 액세스를 가능하게 해주고, CNN에 필요한 계산도 실행한다. 이들 명령은 특별히 설계된 테이크오버 모드에서 동작한다. 이 모드에서는 각 WGP가 하나의 화면 타일에 대해 CNN을 처리한다.

결국 올해 초 나왔던 300TOPS라고 하는 수수께끼의 수치는 WGP의 수와 GPU 주파수 등의 정보로부터는 도출할 수 없는 수치이며, 그 열쇠는 3x3 합성곱을 행하는 명령에 있다. 이 명령은 9회의 곱셈과 9회의 덧셈을 실행, 합계 18회의 연산을 이행한다. 일반적인 2.17GHz의 주파수로 계산하면 300TOPS에 도달한다. 단, CNN에는 16비트 연산도 필요하므로 이를 위해 추가된 명령도 있다. 이들 명령은 비교적 심플하여 알기 쉬운 것이 많다. CNN 처리는 대부분 8비트 연산으로 끝나기 때문에 16비트 성능을 억제함으로써 칩 면적과 코스트를 줄였다. 32비트 계산에 대해서는 CNN에서 딱히 쓸 일이 없어 그대로 두었다.

커스텀 RDNA 아키텍처 상에서 동작하는 초해상용 뉴럴 네트워크 PSSR(플레이스테이션 스펙트럴 수퍼 레졸루션)은 SIE 독자 설계이다. 여기서 스펙트럴이란 템페스트 오디오처럼 그래픽용 머신러닝 라이브러리의 브랜딩을 위해 붙인 이름이다. PSSR 프로젝트의 목표 중 하나는 도입의 용이함이었기에 FSR, DLSS, XeSS와 기본적으로 같은 입력 세트를 사용한다. 이들 수법은 현재 프레임의 픽셀 컬러만이 아니라 심도 정보나 앞의 프레임과 현재 프레임 사이 픽셀의 움직임을 표시하는 모션 벡터도 사용한다. PSSR은 이들 수법의 완전한 대체는 아니지만 가까워지고 있다.

PSSR은 콘솔용으로 설계되었기 때문에 주 사용 케이스가 다른 수법들과 조금 다르다. PC 게임은 통상 고정 해상도로 랜더링 되어 장면의 복잡도에 따라 프레임 레이트가 변동된다. 게이밍 모니터는 그 가변 프레임 레이트에 대응한다. 즉 일반적인 PC 게임의 시나리오에서는 고정 해상도로 랜더링 하여 2:1 고정 비율로 업스케일링 하고 고정 해상도에 표시한다는 흐름이 된다. 대조적으로 콘솔 게임에서는 60fps의 TV에 표시하기 위해 프레임 레이트가 고정되는 경향이 있다. 변동되는 것은 랜더링 해상도이다. 씬이 복잡해지면 랜더링 해상도가 낮아지며, 심플해지면 랜더링 해상도가 높아진다. 디스플레이 해상도는 통상 4K로 고정되므로 PSSR은 변동하는 업스케일 비율에 대응할 필요가 있다. 이러한 시나리오를 위주로 상정한 설계와 트레이닝을 거쳤다. 물론 PC 게임에서도 가변 랜더링 해상도를 지원하는 것이 늘고 있고, 업스케일링 수법은 모두 고정 및 가변 업스케일 비율에 대응하지만, PSSR 프로젝트의 초점은 조금 다르다는 뜻이다.

PSSR을 위해 2021년부터 다양한 종류의 뉴럴 네트워크를 검토했는데 그들 모두 리커런트 네트워크(RNN, 순환 신경망)로 일부 결과를 입력으로 피드백 하는 구조이다. 참고로 검토했던 것을 예로 들면 디스플레이 해상도에 그대로 동작하는 플랫 네트워크, 낮은 랜더링 해상도로 동작하다 최후에 디스플레이 해상도로 올리는 네트워크, 해상도를 한 번 낮추었다 다시 올리는 오토 인코더 등이 있다. 같은 접근 방식으로 다른 연결성을 지닌 U-net도 검토했다. 최종적으로 PSSR은 리커런트 U-net으로 구축됐다.

네트워크를 선택한 후에도 방대한 작업이 필요했다. 많은 트레이닝을 실시하여 일부 게임 크리에이터용으로 베타판을 배포했으며, PSSR이 실제 게임에 통합될 때 다양한 문제가 발생하는 것을 확인, 한층 더 트레이닝을 거칠 필요가 있었다. 그 중에는 복잡한 문제도, 사소한 문제도 있었다. 사소한 문제의 예로는 어떤 게임이 완벽하게 파란 하늘을 사용하고 있었는데 PSSR은 트레이닝에서 그렇게 완벽한 청색을 본 적이 없어 어떻게 처리해야 할 지 알지 못 했다.

프로젝트를 시작한 뒤로 벌써 4년이 흘렀는데, 돌이켜보면 시간을 들여 독자 기술을 구축한다는 결단을 내린 것이 정말 좋았다고 판단한다. 결과도 양호하지만 그 이상으로 AI가 게임 그래픽을 어떤 식으로 향상시킬 수 있는 지에 대해 많이 배웠고, 이에 따라 미래가 한층 명확해졌음을 확신하고 있다. 미래, 구체적으로는 세 가지 요소의 미래 가능성에 대해 조금 이야기하자면, 래스터라이즈 랜더링은 PS4 프로까지 사용되던 기존 랜더링 수법을 가리키며 성장 여지가 많지 않고 GPU의 대형화 및 메모리 고속화에 의해 얻게 되는 정도가 될 것이다. 레이 트레이싱은 아직 여명기라 향후 10년간 성능이 비약적으로 향상되며 몇 가지 큰 진보가 있을 것으로 예상된다. 머신러닝은 가장 큰 성장 가능성이 있고, SIE가 새로운 주력으로 시작하는 분야이기도 하다.

머신러닝의 성장의 일부는 보다 고성능에 효율적인 하드웨어 아키텍처로부터 비롯될 것이다. PS5 프로의 머신러닝 아키텍처는 매우 우수하지만 PSSR을 실행할 때 완전 융합 네트워크라고 하는 궁극의 목표에는 도달하지 못 했다. 꽤 근겁하기는 했으나 PSSR의 중간 데이터를 모두 온칩에 보존할 수 없어 시스템 메모리 액세스로 일부 제약을 받는 것이 현실이다. 장래의 머신러닝 하드웨어에서는 개선의 여지가 있다고 생각된다.

또 하나의 성장의 근원은 보다 고도의 뉴럴 네트워크로부터 비롯된다. 보다 적은 고품질 픽셀과 적절한 뉴럴 네트워크를 조합함으로써 보다 풍부한 그래픽을 실현한다. 이러한 생각의 일례로 대응 가능한 업스케일링 비율을 들 수 있으며, 2대 1 업스케일로 고품질 화상을 만드는 경우 뉴럴 네트워크를 개선하여 3대 1 업스케일에도 같은 품질을 얻을 수 있게 된다면 GPU의 실질적인 파워가 약 2배가 된다. 이것이 래스터라이즈 랜더링과 레이트레이싱 고속화에 맞물리면 큰 가능성을 품게 된다. 한층 더 이들의 CNN을 프레임 내에서 복수의 용도로 사용하는 것을 목표로 하고 있다. 초해상도만이 아니라 레이 트레이싱 최적화에 필요한 노이즈 제거 등 다른 타겟에도 응용하는 것이다.

PS5 프로를 통해 머신러닝용 하드웨어와 뉴럴 네트워크를 설게하며 좋은 식견을 얻을 수 있었고 금후에도 게임에 특화한 연구를 계속할 예정이다. 물론 AMD도 폭 넓은 전략의 일환으로 같은 목표를 추구하고 있다. 따라서 SIE는 AMD와 추가적인 연계를 시작했으며, 프로젝트의 코드 네임은 AMD의 레드와 PS의 블루에서 힌트를 얻어 애머시스트(Amethyst)라 명명되었다.

애머시스트는 양사의 목표를 내걸고 전문 지식을 결집한 새로운 여행이다. 최초의 목표는 머신러닝을 위해 보다 이상적인 아키텍처를 구축하는 것. 뉴럴 네트워크의 일반적인 처리가 가능해지며 특히 게임 그래픽에 필요한 경량 CNN에 우수한 완전 융합 네트워크라고 하는 궁극의 목표 실현에 중점을 두었다. 이 목표를 위해 AMD가 다세대 RDNA 로드맵에서 배운 교훈과 SIE가 PS5 프로에서의 커스텀 작업에서 얻은 지식을 조합한다. 단 게임에서의 머신러닝 사용은 그래픽 라이브러리에 한정되어서는 안 되고, 한정할 수도 없다. SIE는 머신러닝의 민주화를 위한 노력도 하고 있다. 접근이 쉬우며 그래픽과 게임 플레이를 위해 게임 크리에이터가 직접 AI와 머신러닝에 임하는 것을 목표로 한다. 애머시스트는 PS 전용 기술을 목표로 하는 것은 아니다. 역으로 이 기술 협력을 통해 다양한 디바이스에 걸쳐 머신러닝의 폭넓은 활용을 지원하는 것을 목표로 한다.

또 하나의 목표는 게임 그래픽용으로 고품질 CNN 세트를 병행하여 개발하는 것이다. SIE와 AMD는 이 네트워크 아키텍처와 트레이닝 전략의 콜렉션을 저마다 독자적으로 활용할 수 있다. 그리고 이들 요소는 게임 그래픽의 풍부함을 증가시켜 레이 트레이싱이나 패스 트레이싱의 보다 광범위한 사용을 가능하게 하는 중요한 열쇠이다. 이번 콜라보레이션은 수년에 걸칠 것으로 예상된다.