[기사 본문] '언리얼 페스트 2024 서울' 2일차인 29일 오후 2시 30분, 크래프톤의 이정민 & 서유석 테크니컬 아티스트가 '인조이'(inZOI)에서 실내외 라이팅을 구현한 방법과 메타휴먼 적용 과정을 소개하는 'inZOI의 도시 제작과 캐릭터 페이셜 릭' 세션을 진행했기에 이를 정리해 보았다.

인조이에 접속하면 AR 컴퍼니에 입사, 고양이 푸시캣으로부터 업무를 배우게 된다. 조이들이 살 집, 거리, 도시를 만들게 되고, 조이들간의 사랑, 싸움 등에 개입할 수 있으며, 조이가 되어 조이의 시점에서 살아볼 수도 있다.

인조이의 도시 기획은 프로시저럴 툴로, 세부 레벨은 BP와 PCG로, 중요한 디테일은 머터리얼로 구현했다.

루멘과 나나이트 외에도 다양한 툴을 이용해 도시를 제작했다.

이정민 TA가 23년 5월 입사한 시점에 대부분의 인원은 첫 번째 도시인 도원을 제작하고 있었다. 이에 두 번째 도시인 블리스베이로 넘어가기 전 프로시저럴 툴을 제작, 도원을 끝낸 인원이 시행착오 없이 블리스베이 작업을 시작할 수 있도록 했다.

레퍼런스가 되는 도시에 가이드메시를 배치하고, 가이드메시에 로드 툴을 적용하면 세부적인 형태의 로드가 배치된다.

아래 그림에서 하얀 박스는 빌딩이 되어줄 프록시메시이다.

로드 툴 위에 시티 샘플의 트래픽 시스템을 붙여서 보면 이렇게 된다.

하얀 박스에 빌딩 툴을 붙이면 실시간으로 스케일이나 스타일을 변경할 수 있다.

전체 도시에 빌딩 툴과 로드 툴을 입혀서 확인해보면 아래와 같이 된다.

그래서 아티스트 작업 전에도 이 정도 퀄리티로 도시를 확인할 수 있었으며, 캐릭터로 직접 뛰어다니면서 동선이 너무 길거나 짧지 않은지, 기획적인 콘텐츠는 어디 배치가 되어야 하는지, 도시가 너무 크거나 작지는 않은지를 사전에 픽스했다. 이 작업을 모두 프로시저럴로 작업한 덕분에 변경 사항이 필요하면 원하는 만큼 새로 생성해서 확인할 수 있다는 것이 장점이다.

단, 하나의 액터 아래 여러 인스턴스가 묶여 있어서 수정이 어렵기 때문에 인스턴스를 스태틱 메시로 변환하는 툴을 만들고, 이를 다시 BPP(팩트레벨 블루프린트)로 패킹했는데, 수정이 필요할 때는 레벨 인스턴스처럼 그 안에 들어가서 수정이 가능하며 밖으로 나오면 다시 액터 아래 인스턴스로 묶여서 최적화가 가능해진다.

도원과 블리스베이의 스트리밍 그리드를 비교해보면 도원은 비스듬하게 작업하여 액터가 여러 그리드에 걸쳐 있는데 비해 블리스베이는 그리드 안에 액터들이 배열되어 있어 HLOD를 베이크 할 때 액터들이 상위 레벨로 묶여 항상 로드 되는 것을 막아주기에 최적화에 도움을 준다.

BP와 PCG는 아티스트에게 좀 더 유용한 툴이다. BP 어레이는 아티스트가 직접 제작한 것으로 대부분의 건물에 적용되었고, 메시를 복사해 배치 및 머터리얼을 오버라이드 하는 기능이다. 나중에 레이트레이싱 관리나 커스텀 데이터 수정이 필요할 때도 전체 건물에 적용이 용이하다.

PCG는 좀 더 랜덤하게 배치되는 식생에 사용되었으며, 잔디나 화단에 많이 활용되었다. 식생이 인스턴스로 배치되다 보니 개수가 너무 많아지면 원활한 플레이가 힘들어지기에 두 가지 옵션을 제작, 파라미터로 붙여 게임 옵션이 바뀌면 밀도가 줄어들게끔 세팅 했다.

잔디 한 묶음의 폴리곤 단위를 키워 잔디 하나의 덩어리가 커졌고, 인게임에서는 별 차이가 없으나 실제로는 나나이트 인스턴스가 줄었으며, GPU에서는 3.5ms 성능 향상이 있었다.

머터리얼은 시티샘플 머터리얼을 많이 활용했고, 부모 머터리얼을 적게 유지했는데, 이는 최적화에도 좋지만 관리 시 개수가 적은 게 유리하기 때문이다. 인스트럭션 수는 3천 정도로 높은 편이나 인게임에서 확인해보면 퀄리티 대비 측정된 수치가 높지는 않아 사용했다.

밤이 되면 창문의 불빛이 밤하늘 별처럼 보인다. 그래서 창문 머터리얼을 예쁘게 만들기 위해 1층과 그 위층을 분리했으며, 1층에는 페이크룸을 제작하여 간판과 실내를 매칭시켰고, 2층부터는 랜덤하게 만들었다.

또 BP 어레이를 활용하여 창문마다 인덱스 넘버를 지정, 여러 개의 창문이 하나의 방 단위로 묶이게끔 했다.

블라인드는 스타일이 다르며 길이도 랜덤성을 갖고 있지만 방 하나의 단위로 봤을 때 각각의 창문이 같은 큐브맵을 공유하고 실내가 연결되어 보이는 결과를 얻을 수 있었다.

외벽 머터리얼은 시티샘플에 웨더링을 사용했으며, 월드 포지션 베이스라 어디든 활용이 가능했다. 그래서 거의 모든 벽과 바닥에 사용했고, 디스턴스필드AO(DFAO) 노드를 추가하여 모서리가 만나는 바닥 지점에는 때가 낀 듯한 디테일을 더했다.

도시 2개를 빠르게 제작해야 하다 보니 기존 LOD를 제작하던 시간을 세이브 하여 랜드마크에 시간을 투자했으며, 이를 위해 나나이트를 무조건 적용, 스켈레탈과 반투명 메시 이외의 모든 오브젝트에 나나이트가 적용됐다.

그러나 나나이트로 LOD를 자동화 해도 트라이앵글을 무한정 쓰면 플레이가 어려워져 하드웨어 레이트레이싱에 사용되는 폴백 메시의 옵션을 수동으로 바꾸어 적은 수의 트라이앵글로 유지했고, 나뭇잎은 메시의 마스크드 영역을 줄이는 식으로 최적화했다.

기왓장 하나를 모델링 해서 복사하여 이어 붙인 형태의 메시는 나나이트 오버드로우를 유발하기 때문에 메시를 새로 제작하여 오버드로우를 줄였다.

나나이트 커맨드는 LOD바이어스, 픽셀퍼엣지 커맨드를 통해 전체적인 화면의 최적화를 이행했다. 덕분에 도원은 2.4ms, 블리스베이는 6.2ms 정도의 최적화가 가능했다.

인조이의 창문은 빛나고 있다. 이유는 루멘이 빛의 성질을 모방해줘도 실내가 어두운 현상이 있어 밝기를 올리기 위해 창문에 이미시브를 추가한 것이며, 유저가 창문을 배치했을 때 햇살이 쏟아지는 듯한 느낌을 주고자 함이었다.

밝기 문제는 포스트 프로세스의 디퓨즈 부스트나 스카이라이트 옵션으로 전체적인 명도를 올릴 수도 있으나, 이 경우 씬이 플랫 해보여 부분적으로 이미시브를 배치해 암부의 디테일을 유지하고자 했다.

실내에서는 해의 노이즈나 반사 퀄리티가 눈에 띌 때가 있는데, 이 경우 루멘 퀄리티 옵션을 상향하거나 직사광을 추가해 완화시켜 주었다.

특히 헤어 노이즈는 스크린트레이스 쪽에 HZB트래버설 커맨드가 기본으로 켜 있어서 얇은 물체의 오클루전도 계산되기 때문에 발생, 이를 꺼서 헤어 노이즈를 제거했다.

야간에는 페이크 머터리얼을 활용, 헤어와 피부에 약하게 페이크 라이트를 넣었다.

메탈에 보이는 노이즈는 러프니스를 올리고 HDRI를 사용해서 페이크로 반사를 추가했다.

언리얼은 로우와 미디엄 퀄리티에서 루멘이 꺼져 간접광을 사용할 수 없는데, 라이트 자체의 강도와 범위를 늘렸으며, 디스턴스필드AO와 스크린스페이스AO를 활용, 간접광이 있는 듯한 느낌을 유지했다.

건축 툴에는 3D 프린트 기능, AI 텍스처 기능이 있어서 원하는 것을 마음껏 만들 수 있다. 그 예시로 지푸라기 사진에 3D 프린트 기능을 사용해 만든 초가집, 3D 프린트 기능으로 만든 아궁이, 기생충, 화장실 빛의 교회, 포스트 아포칼립스 분위기의 건물 등 개발팀이 만든 작품을 보여주었다.

서유석 테크니컬 아티스트는 인조이에 메타휴먼을 쓰게 된 이유로 높은 퀄리티의 캐릭터를 쉽게 제작, 표준화 된 리깅, 언리얼 엔진과 마야 모두에서 용이한 애니메이션 제작, 라이브 링크와 ARKit을 컨텐츠로 응용할 수 있어서라고 설명했다.

이전에는 인게임과 시네마틱 간에 퀄리티 차이가 날 수 밖에 없어 캐릭터를 따로 만들었지만, 인조이의 캐릭터는 인게임 캐릭터로 시네마틱을 만들어도 문제가 없을 정도의 퀄리티를 자랑한다. 실제로 헨리라는 HR 부서 직원이 AR 컴퍼니 신입 직원을 온보딩 하는 영상에는 인게임 캐릭터가 그대로 사용됐다. 페이셜과 바디 모두를 메타휴먼을 사용했기 때문에 가능한 영상이라 할 수 있다.

페이셜은 5가지 과정을 거치게 된다. 기존 메타휴먼과 동일한 모델링을 바탕으로 메시 투 메타휴먼을 통해 메타휴먼 크리에이터로 리깅 시스템을 얻어낸 후 마야에서 DNA 캘리브레이션을 통해 캐릭터 모델링에 적합하게 변형하고, 변형된 DNA와 만들어진 스켈레탈 메시를 엔진에 업로드 하는 식으로 캐릭터를 제작하는 것.

즉 메타휴먼과 동일한 토폴로지의 헤드 모델링, 언리얼 엔진 5와 메타휴먼 플러그인, 퀵셀 브릿지를 설치한 뒤 메타휴먼 DNA 캘리브레이션 코드를 사용하면 인조이의 페이셜 리깅을 똑같이 따라 만들 수 있다.

메타휴먼 DNA 캘리브레이션 코드가 생소할 수도 있는데, 아래 깃허브 링크에 가보면 메타휴먼 정보가 모두 들어간, DNA 편집 코드가 공개되어 있는 상태다.

다만, 수많은 메타휴먼의 표정마다 뼈가 어떻게 움직이는지 정보가 모두 들어있음에도, 기본적으로 무표정에서의 뼈 위치를 바꿀 수 있는 코드만 공개되어 있다.

언리얼 엔진에서 헤드 모델링을 스태틱 메시로 부른 후 맵은 디퓨즈 맵만 연결, 메타휴먼 플러그인을 깔았다면 추가를 눌러 메타휴먼 아이덴티티를 생성한 뒤 아이덴티티 파일을 열어 메시 컴포넌트에서 헤드 모델링을 부른다.

위치를 잡고 뷰 모드를 라이팅에서 언릿으로, FoV는 최소값인 5로 변경하며, 프레임 승격을 누르면 뷰포트가 정지된 상태로 나타나는데, 활성 트래킹을 누르면 눈 경계, 입술 경계, 팔자 주름 라인이 자동으로 잡힌다.

초록색 점을 움직여 좀 더 정확하게 경계 부분을 맞춘 후 메타휴먼 아이덴티티 솔브 버튼을 누르면 해당 기준을 바탕으로 토폴로지가 자동으로 맞추어지고, 이 창에서 바디를 선택, 메시 투 메타 휴먼을 누르면 메타휴먼이 내보내진다.

퀵셀 브릿지에 메타휴먼이 잘 들어왔다면 스타트 MHC를 누른다.

버전을 골라 들어가면 멈추어 있던 캐릭터가 움직이며, 외형을 변경하고 나면 파일 경로에서 DNA 파일로 본격적인 작업에 임하게 된다.

메타휴먼 DNA 캘리브레이션에서 DNA 파일을 부르는데, 개발팀은 자체 제작한 툴에 코드를 쓰기 쉽게 가공해서 넣어두었다.

DNA 파일을 불러오면 아래와 같이 되며, 바디를 불러온 후 콘스트레인으로 위치를 강제로 맞춘다.

그 뒤에는 마야의 폴리클 기능을 사용, 본과 가까운 버텍스에 콘스트레인을 걸어준다. 그 헤드에 얼굴 모델링을 불러와 블렌드 쉐이드를 걸면 본이 얼굴에 맞춰 이동한다.

물론 버텍스 기반으로 강제로 맞추다보니 모든 본이 정확히 맞지는 않아 눈, 치아, 혀, 턱, 목, 머리 등 일부 부위는 폴리클이 아니라 수동으로 적절히 배치해야 한다.

만들어진 DNA 파일을 보면 이상해 보일지 모르지만, 이건 뼈 위치만 바꾼 것이라 그런 것이다. 페이셜 본 앞의 페이셜_ 라는 프리픽스만 쓰면 되므로 다른 본은 제거한 뒤 바디 본을 불러와 이동시켜준다.

다음으로 바인드 스킨을 해주어야 하는데, 토폴로지가 같으므로 잘 만든 핫 헤드 모델링에 스킨웨이트를 저장해놓고 툴을 통해 바인드 스킨을 시킨 뒤 스킨웨이트를 불러오도록 자동화시켰다. 얼굴 별로 특징이 다르므로 스킨웨이트를 추가 수정하는 과정도 거치게 되지만 바로 불러와도 꽤 괜찮은 리깅 셋업이 나타난다.

여기에 모션 캡쳐 데이터를 넣으면 다음과 같이 된다.

이렇게 만든 리그는 본과 메시만 남기며 스켈레탈 메시로서 업로드 하고 해당 경로에 편집한 DNA 파일을 드래그앤드랍 하여 등록한다. 스켈레탈 메시에 DNA 애셋이 추가되었다면 성공이다.

기존 메타휴먼은 LOD 0에서 7까지 사용했지만 최적화를 위해 인조이는 LOD 0에서 3까지로 범위를 크게 줄였다. 표정을 보관하는 타겟 메시는 불필요하다고 생각, 5개 이하로 별도 제작, 나머지는 모두 제거했으며, LOD 1, 2, 3은 기존의 메타휴먼 셋업을 참고하여 최적화했다.

이는 메타휴먼의 페이셜 본 구조가 계층화 되어 있고, LOD 숫자가 높아질수록 하위에서 상위 본으로 올라가는 구조라 바인드 값에 넣거나 빼는 것으로 조절이 가능하기 때문이다.

이 과정을 통해 캐릭터가 하나 제작되며, 메타휴먼은 엄청나게 많은 본을 사용하기 때문에 커스터마이즈에는 이 본을 사용했다. 포즈 애셋을 미리 만들어둠으로써 다양한 형태의 얼굴을 만들 수 있었던 것이다.

메타휴먼 크리에이터 이전의 과정은 에픽 데브 커뮤니티의 퀵 스타터 문서에 잘 정리되어 있어 이것을 참고하는 것이 유용하다.

메타휴먼 DNA 캘리브레이션은 언리얼 페스트 23 뉴올리언스 메타휴먼: DNA 캘리브레이션 딥 다이브 자료 영상이 도움이 된다.