본문

뉴스 기사

[기사 제목]

세아·지아로 보는 ‘버추얼 유튜버’를 위해 필요한 것들

조회수 18211 | 루리웹 | 입력 2019.05.21 (20:22:58)
[기사 본문] 유나이트 서울 2019 첫날, 유니티의 오지현 에반젤리스트 팀장과 자이언트스탭 문기영 실장이 버추얼 유튜버인 세아, 그리고 지아가 탄생한 계기와 버추얼 유튜버 문화에 대해서 강연했다. 강연에 앞서 세아의 유나이트 서울 2019 특별 환영 영상이 상영됐다.

DSC09558.JPG


DSC09481.JPG


DSC09470.JPG


이전부터 버추얼 유튜버의 시초할 수 있는 개념인 아담 같은 사이버 가수가 있었으며, 버추얼 유튜버는 가상의 캐릭터를 연기하며 스트리밍 혹은 영상을 제공하는 유튜버를 지칭하는 용어로 일본에서 최초로 버추얼 유튜버를 표방한 키즈나 아이 이후 많은 수의 버추얼 유튜버가 탄생했다. 최초이자 가장 인기가 많은 키즈나 아이는 라이브 콘서트를 열 정도로 성장했다. 이를 시작으로 일본에서는 TV 시리즈로 버추얼 유튜버들이 대거 출연해서 진행하는 종합 방송까지 나오게 되었다.

DSC09487.JPG


DSC09488.JPG


DSC09490.JPG


DSC09491.JPG


DSC09492.JPG


국내에서는 그 시작으로 세아는 본래 스마일게이트의 에픽세븐을 홍보하기 위해서 유니티로 제작되었던 캐릭터이며, 현재 6만 이상의 구독자를 확보하고 있다. 지아는 보다 실사에 가까운 그래픽으로 만들어진 버추얼 유튜버로서 자이언트스탭에서 제작중이다. 또 국내에는 초아, 오투, 모아, 버추얼 몬스터 등 다양한 버추얼 유튜버들이 존재한다.

DSC09500.JPG


DSC09502.JPG


DSC09503.JPG


버추얼 유튜버의 핵심은 라이브 모션 캡쳐 기술이라 할 수 있다. 과거에는 모션 캡처를 진행하고 후에 다시 작업하여 렌더를 입히는, 즉 캡쳐와 렌더를 따로했으나 현재는 라이브 모션 캡쳐로서 동시에 실시간으로 처리하는 것이 가능해졌다. 때문에 보다 빠르고 즉각적인 콘텐츠 제작이 이루어지고 버추얼 유튜버라는 콘텐츠가 성립할 수 있었다. 실제 스튜디오에서 연기자가 만질 수 있는 오브젝트를 두고 연기를 하면 실시간 렌더로 배경까지 같이 구현된다. 그리고 이를 위한 구현 하드웨어도 많이 대중화되었다.

그리고 오지현 에반젤리스트는 자사의 홍보 캐릭터 유니티짱을 동원, 직접 라이브 모션 캡쳐가 이루어지는 모습을 시연했다. 모션 캡쳐 장비를 착용하고 캘리브레이션을 거친 뒤 사람의 움직임이 3등신 캐릭터로 적용되는 모습을 확인할 수 있었다.

DSC09508.JPG


DSC09511.JPG


DSC09518.JPG


세아의 경우 라이브 2D 의 페이스리그와 바이브에 탑재된 VR 챗, 유니티 뉴런 등의 프로그램을 사용했다. 또 여기에는 오큘러스 립싱크라는 말소리를 녹음해 파형을 분석하여 입모양으로 만들어주는 기능도 무료로 배포되고 있다. 또 실제 사람에게는 없는 신체 부위, 머리카락 등을 표현하는데에는 유니티짱 스프링본 등의 기능을 사용한다.

DSC09529.JPG


DSC09531.JPG


DSC09537.JPG


다음으로 자이언트스탭의 문기영 실장이 지아를 소개했다. 버추얼 유튜버를 제작하며 각각 유니티 엔진, 모션 캡쳐, 얼굴 애니메이션 캡쳐, 손가락 캡쳐를 어떻게 사용하고 구현했는지에 대해서 이야기했다.

모션 캡쳐를 위해서는 옵티 트랙과 퍼셉션 뉴런을 혼용하고 있다. 퍼셉션 뉴런의 경우엔 약 100만원 가량의 가격으로 사용해볼 수 있다. 하지만 이들 장비는 손가락 모션 캡쳐 기능이 개발팀에서 요구하는 수준을 충족시키지 못했다. 단순히 쥐는 모션도 잘 구현하지 못했으며, 다른 기능을 추가로 사용하게 된다.

DSC09538.JPG


DSC09540.JPG


kk001.JPG


kk002.JPG


얼굴 애니메이션 캡쳐는 다양한 장비가 마련되어 있으나 지아 프로젝트는 아이폰 X를 사용했다. 아이폰X 전면에 있는 깊이감 카메라를 동원해서 실제 얼굴의 모양과 표정을 캡쳐할 수 있었다.

또 블랜드셰이프라는 기능이 있는데, 얼굴이 표현해야 할 표정들을 데이터베이스로서 구현해 저장하는 것이다. 과거 게임 개발시에는 3D 게임에서 얼굴에도 본을 만들고 구동부를 삽입했다. 그래서 표정을 원하는대로 구현하기 위해서는 본의 개수가 늘어나고, 제대로 표현하기 어려웠다. 때문에 현재는 대부분 블랜드셰이프를 사용하는 추세다. 아이폰X는 52개의 블랜드셰이프를 지원하므로 그에 맞춰 표정 바리에이션을 준비해야 한다.

그리하여 이 52개의 블랜드셰이프가 각자 숫자값을 가지고, 여기에 0부터 필요한 값을 입력하여 그 표정본 수치의 총합으로 최종적으로 보여주는 표정이 결정된다. 이 기술을 능숙히 사용해서 아름다운 표정, 결과물이 나오기 위해서는 아티스트의 도움과 역량도 중요히 필요했다.

kk003.JPG


kk004.JPG


kk005.JPG


그리고 연기를 하는 성우의 얼굴 형태, 표정과 지아의 얼굴은 다르기 때문에 각각의 움직임마다 어떤 움직임은 과장되거나 어떤 움직임은 축소되도록 조정해야 한다. 여기에는 기초 프로그램을 개발한 서양권과 동양권의 두상 차이도 있었기 때문에 많이 조정을 해야 했다.

손가락 캡쳐는 기존 옵티 트랙 같은 기능으로는 부족했기 때문에 Noitiom 사의 Hi5 를 사용했다. 세세하게 물건을 집거나 하는 동작은 잘 인식하는데, 손가락 사이를 크게 벌리거나 하는 특정 동작은 또 인식이 안되는 문제가 있다.

이렇게 사용하는 3개의 각기 다른 장비들 모두 유니티로 사용할 수 있는 SDK 를 제공하고 있으나, 3개를 함께 사용하는 특성과 또 프로젝트에 맞게 코드 튜닝을 해야 할 필요가 있다.

kk006.JPG


kk007.JPG


kk008.JPG


kk009.JPG


kk010.JPG


그리고 아이폰X로 캡쳐한 표정을 블렌드셰이프 데이터를 거쳐 PC에 저장되어 있는 지아의 표정으로 구현해야 하는데, 이 블렌드셰이프 데이터를 매 프레임마다 PC 로 보내기에는 JSON의 데이터 사이즈 문제가 있었고, 이를 줄이기 위해서 바이너리로 치환하는 작업이 또 필요했다.

입모양 데이터는 매우 빠르게 변화하므로 즉각적인 전달이 필요했고 이 때문에 Nagle 알고리즘을 손보았다. 또 이 데이터 전송에 wifi 를 사용했는데 이런저런 간섭에 매우 취약했고, 또 iptime 의 공유기가 이런 특수 목적으로는 그렇게 좋지 않았다. 안정감도 낮았고 데이터 신호 전송이 가끔 끊기기도 했다. 때문에 이런 목적으로 사용할 때에는 고급형의 안정적인 wifi 공유기를 사용하면 해결된다.

이명규 기자   sawual@ruliweb.com




관련게임정보 목록

관련 정보

기     종

온라인/아이폰/안드로이드

발 매 일

장     르

가     격

제 작 사

기     타



댓글

목록보기

댓글 | 57
1


BEST
??? : 걔 숨은 쉬냐?
19.05.21 20:32
(1229548)

115.136.***.***

BEST
댓글 이미지 입니다. 이미지를 보려면 여기를 눌러주세요.
19.05.21 22:13
BEST
저 아저씨가 세아인건 아니겠지?
19.05.21 20:32
(4977769)

175.192.***.***

BEST
세아 야짤 그리고싶어서 스마일게이트 에픽세븐에 문의했더니 세아에게 직접문의하라고해서... 포기...
19.05.21 21:39
(3976185)

118.45.***.***

BEST
실망...
19.05.21 21:14
BEST
저 아저씨가 세아인건 아니겠지?
19.05.21 20:32
루리웹-6833947291
가서 강연들었을때 저분은 그냥 엔지니어고 세아 연기하는 사람은 따로 있다고 들었어요 | 19.05.21 20:56 | | |
(3976185)

118.45.***.***

BEST
족제비와토끼
실망... | 19.05.21 21:14 | | |
(634264)

211.48.***.***

Alice🐾
???? | 19.05.22 11:43 | | |
족제비와토끼
??? : I am Seah | 19.05.22 13:04 | | |
BEST
??? : 걔 숨은 쉬냐?
19.05.21 20:32
마리오짝퉁
세아가 이 댓글을 신고합니다 | 19.05.21 21:28 | | |
(1229548)

115.136.***.***

BEST
마리오짝퉁
댓글 이미지 입니다. 이미지를 보려면 여기를 눌러주세요.
| 19.05.21 22:13 | | |
(1983074)

114.200.***.***

마리오짝퉁
비추가 0인거 보니 아직 세아 근웹 접속 안한 듯 | 19.05.22 01:35 | | |
(1983074)

114.200.***.***

마리오짝퉁
드디어 비추 1 찍힌 거 보니 세아줌마 접속하신 듯 ㅋㅋㅋ | 19.05.23 00:04 | | |
(3484541)

211.36.***.***

마리오짝퉁
ㅋㅋㅋㅋㅋ 비추실명제 | 19.05.23 15:36 | | |
Chihaya
이 짤을 볼때마다 성룡 머리 감싸는짤 떠올라.. | 19.05.24 18:23 | | |
(3040225)

119.198.***.***

버철유투버에게 중요한것 pc 성능
19.05.21 20:42
(821210)

58.77.***.***

티라노 세아루스. 공룡 좋아해서 보기 시작햇음.(흐뭇)
19.05.21 20:50
세아는 아저씨 구나
19.05.21 20:53
(3020222)

211.226.***.***

세아는 아줌마 아니었나
19.05.21 20:54
(731958)

221.161.***.***

에픽세븐을 광고해주세요
19.05.21 21:09
(3307995)

110.13.***.***

되게 구리던데
19.05.21 21:13
국내에서 버추얼 유튜브 구독자수 가장 많으 채널이 맥유뭅이였던가?
19.05.21 21:26
세아줌마
19.05.21 21:28
(4977769)

175.192.***.***

BEST
세아 야짤 그리고싶어서 스마일게이트 에픽세븐에 문의했더니 세아에게 직접문의하라고해서... 포기...
19.05.21 21:39
(3549344)

118.45.***.***

네코샘플
진짜로 물어보면 세아가 한숨쉴일 한번더 늘어날듯 | 19.05.21 21:57 | | |
(1569357)

118.222.***.***

네코샘플
ㅋㅋㅋㅋ 답변 받으신것 좀 올려주실 수 있나요 ㅋㅋㅋ | 19.05.21 22:50 | | |
(4977769)

175.192.***.***

ㅜㅐㅜㄷ
어디에? | 19.05.21 22:55 | | |
(1569357)

118.222.***.***

네코샘플
그냥 스샷 댓글로요 | 19.05.21 22:58 | | |
(4977769)

175.192.***.***

ㅜㅐㅜㄷ
댓글 이미지 입니다. 이미지를 보려면 여기를 눌러주세요.
예잉 | 19.05.21 23:10 | | |
(1569357)

118.222.***.***

네코샘플
으헹 감사합니다 | 19.05.21 23:35 | | |
네코샘플
댓글 이미지 입니다. 이미지를 보려면 여기를 눌러주세요.
| 19.05.22 04:25 | | |
(4495116)

119.206.***.***

내가 언젠가 민증한번 깐다.
19.05.21 22:12
(536728)

175.211.***.***

몸짓은 아저씨가 목소리는 아줌마 인건가?
19.05.21 22:22
(2048565)

121.129.***.***

세아 30대 중반인 성우잖아...
19.05.21 23:05
(2048565)

121.129.***.***

polnmty
애도 있다고 하던데 | 19.05.21 23:05 | | |
(257189)

175.223.***.***

polnmty
영원한 여고생쨔응 | 19.05.25 10:07 | | |
(5156899)

175.198.***.***

4번 이미지 작년 기억나네요
19.05.22 01:42
하와와와
19.05.22 07:04
(16973)

180.196.***.***

이젠 볼때마다 만장굴 밖에 생각안남
19.05.22 08:11
(5072002)

175.223.***.***

예가 벌써 이래라 저래라 할 짬밥인가 ㅡㅠㅡㅋ
19.05.22 08:28
(1642885)

222.104.***.***

요즘엔 세아보단 초이가 커여운거같음
19.05.22 08:34
(284)

58.237.***.***

세아는 잘안보는데 후발주자인 초이라던가 버추얼 컴퍼니의 모아라던가 재밌던...
19.05.22 12:28
티케이913
댓글 이미지 입니다. 이미지를 보려면 여기를 눌러주세요.
| 19.05.22 15:45 | | |
기를모으는중입니다
나르닥이네... | 19.05.22 18:40 | | |
티케이913
난 세아가 월등하게 낫더라 초인가 뭔가는 너무 귀여운척하는게 거슬림 | 19.05.22 19:26 | | |
(3170935)

163.152.***.***

국내한조챔피언
그래서인지 중간중간 본래목소리 튀어나올때 웃김 | 19.05.23 12:54 | | |
국내한조챔피언
성우 연기나 드립은 진짜 세아쪽이 제대로이긴 함 ㅋㅋ | 19.05.23 13:00 | | |
(5012079)

121.173.***.***

버추얼 유튜버의 조건? 선 넘는 앰1생 씹덕들의 지1랄을 견딜 수 있는 인내심?
19.05.22 13:11
난 저 캐릭터 성우매치 잘 안 맞는거 같아서 한번보고 안봄
19.05.22 13:52
크...역시 뒤에서 조종하는 건 아재들이었던가...
19.05.22 14:20
(5030496)

121.139.***.***

버츄얼유튜버는 많던데. 세아 진짜 인공지능 맞음? 그냥 성우가 모션이랑 연기하는게 아니라?
19.05.22 17:08
(1277882)

121.128.***.***

로큰코
성우가 목소리 연기하는거 맞음 중간중간 자기 목소리 나옴 | 19.05.23 11:07 | | |
로큰코
?? 버추얼유튜버 들 설마 인공지능이라고 믿는 사람 있음? 자기들 입으로 인공지능 어쩌구 그것도 다 컨셉인거 알고들 보는거라... | 19.05.23 13:01 | | |
(5030496)

121.139.***.***

정몽즙VS닭근액
스카이넷이링 울트론을 존경한다길래 믿었지...그거 설저이었구나 역시... | 19.05.23 16:37 | | |
세아가 뭐임 먹는거임?
19.05.22 19:25
진짜 마이너 오타쿠 감성중에 제일 마이너한거같음.
19.05.22 21:23
키즈나 아이보니까 하츠네 미쿠 생각나던데 ㅋㅋ
19.05.23 11:21
(45238)

175.223.***.***

우리나란 어떻게 시바 남들이 하는걸 따라할줄밖에 모르냐...눈물나네 시바꺼
19.05.23 12:36
(774906)

123.136.***.***

요즘 아담 아는사람들도 이제 안보이던데ㅠ 그나마 격겜하는 분들이 웃자는식으로 킹오파 쿄가 아담인줄알더라(그거비밀인데...)
19.05.23 23:42
(753760)

221.153.***.***

세아 처음에 나왔을 때 영상 보고 나서 절실하게 느꼈다. 키즈나 아이가 진짜 잘하는거구나 라고...
19.05.28 01:38


1


댓글은 로그인 후 이용 가능합니다.


목록보기
BEST 뉴스

PC/온라인
비디오/콘솔
모바일
PC/온라인
비디오/콘솔
모바일
PC/온라인
비디오/콘솔
모바일
BEST 게시글

게임
애니/책
갤러리
커뮤니티
게임
애니/책
갤러리
커뮤니티
게임
애니/책
갤러리
커뮤니티
게임
애니/책
갤러리
커뮤니티
BEST 유저정보
콘솔
PC
모바일
취미


X