[기사 제목]
세아·지아로 보는 ‘버추얼 유튜버’를 위해 필요한 것들
조회수 23960 | 루리웹 |
입력 2019.05.21 (20:22:58)
[기사 본문]
유나이트 서울 2019 첫날, 유니티의 오지현 에반젤리스트 팀장과 자이언트스탭 문기영 실장이 버추얼 유튜버인 세아, 그리고 지아가 탄생한 계기와 버추얼 유튜버 문화에 대해서 강연했다. 강연에 앞서 세아의 유나이트 서울 2019 특별 환영 영상이 상영됐다.
이전부터 버추얼 유튜버의 시초할 수 있는 개념인 아담 같은 사이버 가수가 있었으며, 버추얼 유튜버는 가상의 캐릭터를 연기하며 스트리밍 혹은 영상을 제공하는 유튜버를 지칭하는 용어로 일본에서 최초로 버추얼 유튜버를 표방한 키즈나 아이 이후 많은 수의 버추얼 유튜버가 탄생했다. 최초이자 가장 인기가 많은 키즈나 아이는 라이브 콘서트를 열 정도로 성장했다. 이를 시작으로 일본에서는 TV 시리즈로 버추얼 유튜버들이 대거 출연해서 진행하는 종합 방송까지 나오게 되었다.
국내에서는 그 시작으로 세아는 본래 스마일게이트의 에픽세븐을 홍보하기 위해서 유니티로 제작되었던 캐릭터이며, 현재 6만 이상의 구독자를 확보하고 있다. 지아는 보다 실사에 가까운 그래픽으로 만들어진 버추얼 유튜버로서 자이언트스탭에서 제작중이다. 또 국내에는 초아, 오투, 모아, 버추얼 몬스터 등 다양한 버추얼 유튜버들이 존재한다.
버추얼 유튜버의 핵심은 라이브 모션 캡쳐 기술이라 할 수 있다. 과거에는 모션 캡처를 진행하고 후에 다시 작업하여 렌더를 입히는, 즉 캡쳐와 렌더를 따로했으나 현재는 라이브 모션 캡쳐로서 동시에 실시간으로 처리하는 것이 가능해졌다. 때문에 보다 빠르고 즉각적인 콘텐츠 제작이 이루어지고 버추얼 유튜버라는 콘텐츠가 성립할 수 있었다. 실제 스튜디오에서 연기자가 만질 수 있는 오브젝트를 두고 연기를 하면 실시간 렌더로 배경까지 같이 구현된다. 그리고 이를 위한 구현 하드웨어도 많이 대중화되었다.
그리고 오지현 에반젤리스트는 자사의 홍보 캐릭터 유니티짱을 동원, 직접 라이브 모션 캡쳐가 이루어지는 모습을 시연했다. 모션 캡쳐 장비를 착용하고 캘리브레이션을 거친 뒤 사람의 움직임이 3등신 캐릭터로 적용되는 모습을 확인할 수 있었다.
세아의 경우 라이브 2D 의 페이스리그와 바이브에 탑재된 VR 챗, 유니티 뉴런 등의 프로그램을 사용했다. 또 여기에는 오큘러스 립싱크라는 말소리를 녹음해 파형을 분석하여 입모양으로 만들어주는 기능도 무료로 배포되고 있다. 또 실제 사람에게는 없는 신체 부위, 머리카락 등을 표현하는데에는 유니티짱 스프링본 등의 기능을 사용한다.
다음으로 자이언트스탭의 문기영 실장이 지아를 소개했다. 버추얼 유튜버를 제작하며 각각 유니티 엔진, 모션 캡쳐, 얼굴 애니메이션 캡쳐, 손가락 캡쳐를 어떻게 사용하고 구현했는지에 대해서 이야기했다.
모션 캡쳐를 위해서는 옵티 트랙과 퍼셉션 뉴런을 혼용하고 있다. 퍼셉션 뉴런의 경우엔 약 100만원 가량의 가격으로 사용해볼 수 있다. 하지만 이들 장비는 손가락 모션 캡쳐 기능이 개발팀에서 요구하는 수준을 충족시키지 못했다. 단순히 쥐는 모션도 잘 구현하지 못했으며, 다른 기능을 추가로 사용하게 된다.
얼굴 애니메이션 캡쳐는 다양한 장비가 마련되어 있으나 지아 프로젝트는 아이폰 X를 사용했다. 아이폰X 전면에 있는 깊이감 카메라를 동원해서 실제 얼굴의 모양과 표정을 캡쳐할 수 있었다.
또 블랜드셰이프라는 기능이 있는데, 얼굴이 표현해야 할 표정들을 데이터베이스로서 구현해 저장하는 것이다. 과거 게임 개발시에는 3D 게임에서 얼굴에도 본을 만들고 구동부를 삽입했다. 그래서 표정을 원하는대로 구현하기 위해서는 본의 개수가 늘어나고, 제대로 표현하기 어려웠다. 때문에 현재는 대부분 블랜드셰이프를 사용하는 추세다. 아이폰X는 52개의 블랜드셰이프를 지원하므로 그에 맞춰 표정 바리에이션을 준비해야 한다.
그리하여 이 52개의 블랜드셰이프가 각자 숫자값을 가지고, 여기에 0부터 필요한 값을 입력하여 그 표정본 수치의 총합으로 최종적으로 보여주는 표정이 결정된다. 이 기술을 능숙히 사용해서 아름다운 표정, 결과물이 나오기 위해서는 아티스트의 도움과 역량도 중요히 필요했다.
그리고 연기를 하는 성우의 얼굴 형태, 표정과 지아의 얼굴은 다르기 때문에 각각의 움직임마다 어떤 움직임은 과장되거나 어떤 움직임은 축소되도록 조정해야 한다. 여기에는 기초 프로그램을 개발한 서양권과 동양권의 두상 차이도 있었기 때문에 많이 조정을 해야 했다.
손가락 캡쳐는 기존 옵티 트랙 같은 기능으로는 부족했기 때문에 Noitiom 사의 Hi5 를 사용했다. 세세하게 물건을 집거나 하는 동작은 잘 인식하는데, 손가락 사이를 크게 벌리거나 하는 특정 동작은 또 인식이 안되는 문제가 있다.
이렇게 사용하는 3개의 각기 다른 장비들 모두 유니티로 사용할 수 있는 SDK 를 제공하고 있으나, 3개를 함께 사용하는 특성과 또 프로젝트에 맞게 코드 튜닝을 해야 할 필요가 있다.
그리고 아이폰X로 캡쳐한 표정을 블렌드셰이프 데이터를 거쳐 PC에 저장되어 있는 지아의 표정으로 구현해야 하는데, 이 블렌드셰이프 데이터를 매 프레임마다 PC 로 보내기에는 JSON의 데이터 사이즈 문제가 있었고, 이를 줄이기 위해서 바이너리로 치환하는 작업이 또 필요했다.
입모양 데이터는 매우 빠르게 변화하므로 즉각적인 전달이 필요했고 이 때문에 Nagle 알고리즘을 손보았다. 또 이 데이터 전송에 wifi 를 사용했는데 이런저런 간섭에 매우 취약했고, 또 iptime 의 공유기가 이런 특수 목적으로는 그렇게 좋지 않았다. 안정감도 낮았고 데이터 신호 전송이 가끔 끊기기도 했다. 때문에 이런 목적으로 사용할 때에는 고급형의 안정적인 wifi 공유기를 사용하면 해결된다.
이전부터 버추얼 유튜버의 시초할 수 있는 개념인 아담 같은 사이버 가수가 있었으며, 버추얼 유튜버는 가상의 캐릭터를 연기하며 스트리밍 혹은 영상을 제공하는 유튜버를 지칭하는 용어로 일본에서 최초로 버추얼 유튜버를 표방한 키즈나 아이 이후 많은 수의 버추얼 유튜버가 탄생했다. 최초이자 가장 인기가 많은 키즈나 아이는 라이브 콘서트를 열 정도로 성장했다. 이를 시작으로 일본에서는 TV 시리즈로 버추얼 유튜버들이 대거 출연해서 진행하는 종합 방송까지 나오게 되었다.
국내에서는 그 시작으로 세아는 본래 스마일게이트의 에픽세븐을 홍보하기 위해서 유니티로 제작되었던 캐릭터이며, 현재 6만 이상의 구독자를 확보하고 있다. 지아는 보다 실사에 가까운 그래픽으로 만들어진 버추얼 유튜버로서 자이언트스탭에서 제작중이다. 또 국내에는 초아, 오투, 모아, 버추얼 몬스터 등 다양한 버추얼 유튜버들이 존재한다.
버추얼 유튜버의 핵심은 라이브 모션 캡쳐 기술이라 할 수 있다. 과거에는 모션 캡처를 진행하고 후에 다시 작업하여 렌더를 입히는, 즉 캡쳐와 렌더를 따로했으나 현재는 라이브 모션 캡쳐로서 동시에 실시간으로 처리하는 것이 가능해졌다. 때문에 보다 빠르고 즉각적인 콘텐츠 제작이 이루어지고 버추얼 유튜버라는 콘텐츠가 성립할 수 있었다. 실제 스튜디오에서 연기자가 만질 수 있는 오브젝트를 두고 연기를 하면 실시간 렌더로 배경까지 같이 구현된다. 그리고 이를 위한 구현 하드웨어도 많이 대중화되었다.
그리고 오지현 에반젤리스트는 자사의 홍보 캐릭터 유니티짱을 동원, 직접 라이브 모션 캡쳐가 이루어지는 모습을 시연했다. 모션 캡쳐 장비를 착용하고 캘리브레이션을 거친 뒤 사람의 움직임이 3등신 캐릭터로 적용되는 모습을 확인할 수 있었다.
세아의 경우 라이브 2D 의 페이스리그와 바이브에 탑재된 VR 챗, 유니티 뉴런 등의 프로그램을 사용했다. 또 여기에는 오큘러스 립싱크라는 말소리를 녹음해 파형을 분석하여 입모양으로 만들어주는 기능도 무료로 배포되고 있다. 또 실제 사람에게는 없는 신체 부위, 머리카락 등을 표현하는데에는 유니티짱 스프링본 등의 기능을 사용한다.
다음으로 자이언트스탭의 문기영 실장이 지아를 소개했다. 버추얼 유튜버를 제작하며 각각 유니티 엔진, 모션 캡쳐, 얼굴 애니메이션 캡쳐, 손가락 캡쳐를 어떻게 사용하고 구현했는지에 대해서 이야기했다.
모션 캡쳐를 위해서는 옵티 트랙과 퍼셉션 뉴런을 혼용하고 있다. 퍼셉션 뉴런의 경우엔 약 100만원 가량의 가격으로 사용해볼 수 있다. 하지만 이들 장비는 손가락 모션 캡쳐 기능이 개발팀에서 요구하는 수준을 충족시키지 못했다. 단순히 쥐는 모션도 잘 구현하지 못했으며, 다른 기능을 추가로 사용하게 된다.
얼굴 애니메이션 캡쳐는 다양한 장비가 마련되어 있으나 지아 프로젝트는 아이폰 X를 사용했다. 아이폰X 전면에 있는 깊이감 카메라를 동원해서 실제 얼굴의 모양과 표정을 캡쳐할 수 있었다.
또 블랜드셰이프라는 기능이 있는데, 얼굴이 표현해야 할 표정들을 데이터베이스로서 구현해 저장하는 것이다. 과거 게임 개발시에는 3D 게임에서 얼굴에도 본을 만들고 구동부를 삽입했다. 그래서 표정을 원하는대로 구현하기 위해서는 본의 개수가 늘어나고, 제대로 표현하기 어려웠다. 때문에 현재는 대부분 블랜드셰이프를 사용하는 추세다. 아이폰X는 52개의 블랜드셰이프를 지원하므로 그에 맞춰 표정 바리에이션을 준비해야 한다.
그리하여 이 52개의 블랜드셰이프가 각자 숫자값을 가지고, 여기에 0부터 필요한 값을 입력하여 그 표정본 수치의 총합으로 최종적으로 보여주는 표정이 결정된다. 이 기술을 능숙히 사용해서 아름다운 표정, 결과물이 나오기 위해서는 아티스트의 도움과 역량도 중요히 필요했다.
그리고 연기를 하는 성우의 얼굴 형태, 표정과 지아의 얼굴은 다르기 때문에 각각의 움직임마다 어떤 움직임은 과장되거나 어떤 움직임은 축소되도록 조정해야 한다. 여기에는 기초 프로그램을 개발한 서양권과 동양권의 두상 차이도 있었기 때문에 많이 조정을 해야 했다.
손가락 캡쳐는 기존 옵티 트랙 같은 기능으로는 부족했기 때문에 Noitiom 사의 Hi5 를 사용했다. 세세하게 물건을 집거나 하는 동작은 잘 인식하는데, 손가락 사이를 크게 벌리거나 하는 특정 동작은 또 인식이 안되는 문제가 있다.
이렇게 사용하는 3개의 각기 다른 장비들 모두 유니티로 사용할 수 있는 SDK 를 제공하고 있으나, 3개를 함께 사용하는 특성과 또 프로젝트에 맞게 코드 튜닝을 해야 할 필요가 있다.
그리고 아이폰X로 캡쳐한 표정을 블렌드셰이프 데이터를 거쳐 PC에 저장되어 있는 지아의 표정으로 구현해야 하는데, 이 블렌드셰이프 데이터를 매 프레임마다 PC 로 보내기에는 JSON의 데이터 사이즈 문제가 있었고, 이를 줄이기 위해서 바이너리로 치환하는 작업이 또 필요했다.
입모양 데이터는 매우 빠르게 변화하므로 즉각적인 전달이 필요했고 이 때문에 Nagle 알고리즘을 손보았다. 또 이 데이터 전송에 wifi 를 사용했는데 이런저런 간섭에 매우 취약했고, 또 iptime 의 공유기가 이런 특수 목적으로는 그렇게 좋지 않았다. 안정감도 낮았고 데이터 신호 전송이 가끔 끊기기도 했다. 때문에 이런 목적으로 사용할 때에는 고급형의 안정적인 wifi 공유기를 사용하면 해결된다.
| 이명규 기자 sawual@ruliweb.com |
