머나먼 미래처럼 느껴지던 AI(Artificial Intelligence, 인공지능)이 점차 우리 일상에서 흔히 접하고 활용하는 기술로 다가오고 있다. 이러한 시대 조류는 게임 업계도 예외가 아니라, 근 몇 년 사이 여러 기업이 AI 연구개발 부서를 설치하여 운영 중에 있다. 그리고 그 중심에는 AI/NLP 센터와 함께 정기적으로 AI 관련 행사를 마련하고 성과를 공유하는 엔씨소프트가 있다.

엔씨소프트는 18일(목), 자사의 판교 R&D 센터에서 ‘AI 미디어 토크’를 개최했다. 현장에는 엔씨소프트 한운희 미디어인텔리전스랩 실장, 이재준 AI 센터장, 장정선 NLP 센터장이 참석하여 AI/NLP 센터에 대한 소개는 물론 AI R&D의 특징과 현황을 가치 부가(Value Addition)와 가치 창출(Value Creation) 두 가지 측면에서 소개했다.

NC AI R&D 부서는 2011년 2월 AI TF로 출범하여 이듬해 AI 랩으로 승격, 2016년 1월부터 현재의 AI/NLP 센터로 자리를 잡고 산하 5개 랩을 운영하고 있다. 당초 이재준 AI 센터장 혼자 시작한 조직이 이제는 150명 규모로 크게 확장됐다. 5개 랩 가운데 게임, 스피치(음성), 비전(시각) 분야은 AI 센터에, 랭귀지(언어)와 널리지(지식) 분야는 NLP 센터에 속한다.

NC AI R&D 부서의 두 가지 방침은 기반 기술을 통한 근본적인 혁신을 추구한다는 것과 활발한 소통과 교류를 중시한다는 것이다. 개별 문제를 해결하는 엔지니어링 기술은 단기적인 성과는 낼 수 있지만 그 외 다른 분야로 확장이 어렵다. 그보다는 중장기적 투자와 연구로 어디에나 적용 가능한 근본적인 해결책을 모색한다. 또한 현업(개발/사업) 부서는 물론 국내외 학술 기관과 적극 협력하며 마치 대학원 연구실 같은 분위기를 추구한다.

엔씨소프트에게 있어 AI는 ‘문제를 해결하는 기술 도구’다. AI 기술을 통해 기존보다 더 나은 해결책을 제공하고, 사용자가 새로운 가치를 경험할 수 있도록 노력한다. 여기서 ‘더 나은 해결책을 제공’하는 것이 가치 부가(Value Addition)이고, 새로운 가치를 경험할 수 있도록 돕는 것이 가치 창출(Value Creation)이라 요약할 수 있다.

한운희 미디어인텔리전스랩 실장은 부서 소개를 마무리하며 재미있는 음성 편지를 공개했다. ‘너의 목소리가 들려’, ‘살인자의 기억법’ 등으로 대중에게 친숙한 김영하 작가가 “엔씨소프트의 기술로 사회 문제를 해결하고 많은 이들에게 즐거운 경험을 줄 수 있는 날이 오면 좋겠다.”는 인사를 전한 것. 알고 보니 해당 음성은 실제 작가 본인의 목소리를 AI가 딥러닝하여 만들어낸 합성품이었다. 이 음성은 관련 웹사이트에서 들어볼 수 있다.

이어서 본격적인 발표가 시작됐다. 먼저 가치 부가(Value Addition)에 대해 이재준 AI 센터장이 말문을 열었다. 게임사에게 있어 AI가 요구되는 분야는 크게 개발과 서비스가 있다. 게임 개발에 도움을 주는 어시스턴트 AI는 직접 게임을 플레이(PvE, NPC)하고, 기획의 얼개를 짜주고, 아트를 보조하고, 테스트와 QA를 대신해준다. 가령 해외 진출 시 러시아어나 베트남어처럼 전문가가 비교적 드문 언어로 번역할 때 문법상 오류나 이상한 표현을 AI가 걸러주는 식이다.

게임 서비스 어시스턴트 AI는 목소리만으로 캐릭터를 조작하는 보이스 커맨더와 같이 플레이어의 편의를 재고하고, 채팅에서 비속어나 문제 발언을 걸러주고, 보는 게임 측면에서 보다 재미있는 중계를 제공하는 기능을 생각해봄직하다.

개발 어시스턴트 AI 가운데 특히 주목할만한 분야는 아트다. 최신 게임에서 요구되는 캐릭터 모델과 애니메이션 품질의 기준이 매우 높아짐에 따라 개발자의 작업량도 갈수록 늘어나기 때문. AI는 특정 캐릭터의 스타일(좀비는 팔을 들고 터벅터벅 걷는다)을 입력했을 때 여러 모션을 자동으로 생성해줄 수 있다. 절벽처럼 특수 환경에서 캐릭터가 자연스럽게 상호작용하도록 돕고, 대사를 칠 때 적절한 표정 및 립싱크와 몸동작을 추천하기도 한다. 플레이어가 사진을 넣었을 때 캐릭터를 비슷하게 커스터마이징해주는 기술도 연구 중이다.

서비스 어시스턴트 AI의 대표적인 사례로는 앞서 언급한 보이스 커맨더가 있다. 플레이어가 손을 쓸 수 없거나 기기로부터 멀리 떨어져 있을 때 조작을 음성으로 대신하는 기능이다. 작동 방식은 “메티스(호출어), 혈맹에 지원 요청(명령어)”을 이해하고 수행하는 것이다. 단순해 보이지만 모바일 게임이란 특성상 통신량을 줄이고자 기기 내에서 연산을 마쳐야 하고 사용 가능한 리소스도 극히 적다는 난점이 있다. 심지어 다양한 발화와 발성 상황에서 신속하고 정확하게 명령어만을 구분하여 수행해야만 실제 게임 플레이에 쓰일 수 있다. 보이스 커맨더는 우선 ‘리니지M’ 지원을 목표로 연구개발 중에 있다.

다음으로 가치 창출(Value Creation)를 주제로 장정선 NLP 센터장이 발표를 이어갔다. AI는 분명 큰 잠재력을 지니고 있지만 그저 R&D를 반복하는 것만으로는 연구를 위한 연구가 되기 싶다. 기술의 활용성을 높이려면 그것을 어디든 응용 가능한 플랫폼화해야 하고, 나아가 사용자들에게 어떻게 다가갈지 고민해야 한다. 즉 AI 기술의 서비스적 측면이다.

AI 서비스에 대해 엔씨소프트가 내놓은 답은 미디어 그리고 데이터와의 결합이었다. 올해 4월 ‘어벤져스: 엔드게임’이 개봉할 즈음 유튜브에서 ‘이제까지 마블 영화 몰아서 보기’란 영상이 유행했다. 그때까지 나온 마블 영화가 21편이나 되는데 그걸 10분 내외로 축약해서 설명해주는 컨셉이었다. 그렇다면 야구 경기도 그럴 수 있지 않을까? 평균 3시간이 넘는 야구 경기에서 실제 공을 던지고 치고 달리는 시간은 다해봐야 20분이 채 되지 않는다. 나머지는 투구와 투구 사이, 타자와 타자 사이, 이닝과 이닝 사이에 흐르는 시간이다.

그렇다면 AI가 매 경기 하이라이트만 선별하여 영상으로 재구성하면 어떨까. 거기다 음성 합성을 통해 상황에 알맞은 중계까지 해주는 것이다. 뿐만 아니라 글줄 기사 역시 중요한 문장만 요약하고, 사용자가 원하는 구단이나 선수에 대한 내용으로만 재정렬해줄 수 있다. 이런 기술을 응용하면 특정 선수를 가리고 누군지 맞추거나 전후 상황을 예측하는 퀴즈 콘텐츠로도 풀어낼 수 있다.

데이터를 분석해줄 때도 그냥 숫자만 나열하는 게 아니라 마치 친구와 얘기하는 듯한 흥미 본위로 서비스해야 한다. 사용자가 관심 있는 구단과 선수에 대한 정보를 다양한 각도에서 보기 좋게 다듬어 제공하고 각종 시각 자료나 일러스트도 최대한 활용한다.

궁극적으로 엔씨소프트가 추구하는 AI 서비스란 콘텐츠의 감정까지 고려한 사용자와의 교감이라 할 수 있다. 서비스 제공자가 기술을 과시하는 것이 아니라 오히려 너무 자연스러워 사용자가 시경 쓰지 않도록 해야 한다. 이를 위해 검색, Q&A, 추천, 대화, 감정, 언어 생성 등의 기술 통합이 필요하다. 여기서 한 발 더 나아가 AI에게 일종의 감정을 부여하는 페르소나(Persona) 연구에도 적극 도전 중이라고.

다음은 이재준 AI 센터장, 장정선 NLP 센터장과의 일문일답을 정리한 것이다.

● 최근 소프트뱅크 손정의 회장이 김택진 대표와 만나 A 기술에 대해 얘기했는데

: 2016년 알파고 쇼크 때보다 AI를 향한 관심이 다소 저조해진 편인데 손정의 회장이 다시금 불을 지펴준 것 같아 감사하다. 김택진 대표와 여러 이야기를 나눈 것으로 알지만 그 이후로 딱히 나에게 지시가 내려오거나 하진 않았다.

● 이제 규모가 150명 정도나 되니 매출 기여에 대한 압박이나 목표가 있을 듯하다

: 굉장히 어려운 질문이다. 내가 2011년에 가장 먼저 합류했는데, 지난 8년간 얼마나 벌어왔냐고 물으면 답하기 곤란하다. 설령 우리 부서에서 만든 AI가 개발에 일정 부분을 도움을 줬다고 그걸 액수로 계산할 수 있겠나. 매출 기여를 아예 의식하지 않을 수야 없겠지만, AI는 굉장히 긴 기간을 두고 연구해야 하는 분야다. 꼭 우리 회사가 아니더라도 잠깐 투자해보고 좋은 결과가 나오길 기대해선 안된다. 우리에게 목표가 있다면 AI 기술이 장차 엔씨소프트에게 굉장히 큰 경쟁력이 되는 것이다. 이 회사에서는 이런 고품질 게임이 이렇게 빨리 나오는구나, 같은.

● 그렇다면 스스로 8년전 처음 목표한 바와 같이 잘 나아가고 있는 셈인가

: 처음 입사할 때 윤송이 사장에게 받은 미션이 ‘엔씨소프트의 AI 조직을 만들라’였다. 볼모지에서 홀로 시작해서 게임 회사가 왜 AI R&D를 해야 하는가에 대한 답을 찾고, 이만큼 좋은 인력을 모았으니 그 숙제는 해결했다고 본다. 또한 블랙박스식으로 연구하지 않고 초기부터 개발팀과 협업한 덕분에 센터 인원 모두가 엔씨소프트의 한 식구로 인정받고 있다. 이제 엔씨소프트의 모든 부서가 우리를 알고, 우리를 믿고 많은 문제를 가져와 함께 고민한다. 기술을 위한 기술이 아니라 현업에서 진짜 마주하는 난관을 함께 헤쳐나가는 부서다. 그렇게 보면 지난 8년간 나름대로 괜찮은 일을 해온 것 아닌가.

● 윤송이 사장과 김택진 대표가 센터 운영과 연구에 많이 관여하는 편인가

: 센터를 만들 당시 윤송이 사장이 방향성을 잡는데 굉장히 큰 역할을 했는데, 도중에 미국에서의 경영을 위해 떠났다. 그 후로는 주로 김택진 대표와 많은 논의를 나누는 편이다. 엔씨소프트에 와서 굉장히 놀랐던 게, 대표이사와 이렇게 가까이서 교류하는 회사는 처음이었다. 보통은 그냥 보고 올리고 컨펌 받는 게 전부이지 않나. 그런데 김택진 대표는 지식이 굉장히 풍부해서 정보도 많이 주고 우리 기술을 게임에 어떻게 접목하면 좋을지 아이디어도 제시해준다. 미국에 있는 윤송이 사장 또한 해외 인맥이 굉장히 풍부하기 때문에 어떤 문제에 봉착했을 때 누굴 만나보라는 식으로 조언을 해주곤 한다.

● 엔씨소프트가 AI 센터 운영을 위해 연간 투자하는 금액이 얼마나 되나

: 그렇게 연간으로 얼마를 투자하겠다는 식으로 계획하진 않는다. 주된 비용은 인건비와 장비인데 액수로 보면 그리 어마어마한 규모는 아니다. 다만 이제 어느정도 규모가 있기 때문에 적절한 곳에 비용을 투자하고 있는지 여러 측면에서 고민하며 운영하려 한다.

● 다른 게임사의 AI 부서와 비교하여 기반 기술 연구에 집중하는 것처럼 보인다

: 우리도 다른 회사처럼 라이브 서비스에도 AI를 활용한다. 다만 밸런스나 필터링 부분은 사내 데이터 센터와 보안 센터가 주관하기 때문에 우리가 잘 드러나지 않는다. 그리고 특정 문제에 대한 해결책이 아니라 기반 기술에 집중하는 이유는 확장성 때문이다. 어떤 한 문제에 특화된 해결책은 다른 곳에 활용하기 힘들지만 기반 기술은 한번 확보하면 어디든 응용할 수 있다.

● 보이스 커맨더 같은 기술이 정말 실용성이 있는 건가. 보여주기용 같기도 하다

: 그렇지 않다. 보이스 커맨더의 경우 우리가 이런 기술이 있다고 제안한 것이 아니라 개발/사업팀에서 요청한 사항이기 때문이다. 현업에서 고객들이 어떤 기능을 원한다고 우리에게 전달하면 그때부터 연구 목표가 설정되는 식이다. 물론 보이스 커맨더가 실용적인 기능이 되려면 많은 개선이 필요하다. 그래서 일단 이동이나 구입, 채팅처럼 비교적 안전한 부분부터 적용해보고 충분히 피드백을 받은 뒤 점차 전투 같이 위험한 쪽으로 확대하려 한다.

● 보이스 커맨더와 같은 기능이 다른 게임, 콘텐츠, 업종에서도 유용할 듯하다

: 기반이 되는 인식 기술은 하나이고 그걸 모바일 환경에 최적화한 사례가 ‘리니지M’인 셈이다. 따라서 향후 개발팀이 원한다면 PC나 콘솔에도 적용 가능하리라 본다. 다만 타사나 다른 업종과의 연계는 지금 이 자리에서 내가 답할 수 있는 문제가 아니다.

● 야구 경기에 대해서 진행되는 AI 서비스를 또 어느 분야로 확장할 수 있을까

: 야구의 특징을 살펴보면 확장 가능한 영역이 보인다. 야구는 방송도 뉴스도 팬들이 쓰는 글도 많다. 기록의 스포츠라 불리는 이유다. AI는 학습을 기반으로 동작하기 때문에 데이터가 가장 중요한데, 야구야말로 먹거리가 가득한 영역이었던 셈이다. 마찬가지로 미디어와 데이터가 풍부한 분야라면 비슷한 서비스를 제공할 수 있다. 내부에서 구체적으로 고려 중인 영역이 몇 있지만 아직 무어라 언급하기는 이른 시점이다.

● 야구 경기에 대한 뉴스를 요약한다는데 정확히 어떤 방식으로 이루어지나

: 기술적으로 보면 두 단계가 있다. 먼저 중요한 문장을 선별하여 추출하는 것이다. 이건 그리 어렵지 않다. 그런데 우리가 누군가에게 소설을 설명한다면 문장을 그대로 가져오는 게 아니라 축약본으로 재구성해서 알려주지 않나. 그러한 기술이 바로 두 번째이자 어려운 부분이다.

● AI가 음성을 받아 적어주는 기술은 없나. 기자에게 꼭 필요한 기능이다

: 어려운 부분이다. 딥러닝 덕분에 음성 인식이 비약적으로 발전하긴 했지만 아직도 자유로이 오가는 대화를 글줄로 받아쓰기는 많이 부족하다. 지금 이 자리만 해도, 기자 여러분은 우리가 어떤 주제로 이야기하는지 알기 때문에 빠르게 이해하고 받아쓸 수가 있다. 하지만 AI는 이런 컨텍스트가 없기 때문에 오독하거나 오기할 가능성이 크다. 다만 모두가 꿈꾸는 기능이고 언젠가 해결될 문제이므로 희망을 갖기 바란다(웃음).

● 최근 과도한 과금 문제가 화두인데 AI가 이런 부분을 조절해줄 수는 없나

: 일단 과금을 유도하는 류의 연구는 하고 있지 않다. 다만 소비자가 최소 비용으로 최대 효과를 얻을 있도록 돕는 것은 가능하다. 예컨데 TCG에서 플레이어가 원하는 덱이 있다고 해보자. 거기에 드는 카드들을 개별로 구입하려면 비용이 커질 수밖에 없다. 이때 AI가 능동적으로 소비자에게 필요한 상품만을 패키징하고 적절한 가격을 책정하는 기술이다.

● AI를 적극 활용한 완전히 새로운 형태의 게임을 개발해볼 생각은 없나

: 사실 한번 시도했다가 잘 안되었다. 우리로서도 꼭 해보고 싶은 일이지만, 기술과 별개로 재미있는 게임을 만든다는 게 굉장히 어렵다.

● 냉정하게 NC AI R&D 부서의 기술 수준이 어느정도라고 자평하나

: 세계적인 수준이다. 특히 게임 AI에 한해서는 독보적인 수준이라 자부할 수 있다. 우리가 연구하는 다서 가지 분야는 각각이 그 해 가장 수준 높은 컨퍼런스가 존재한다. 그곳에 논문을 내는 것만으로 영광일 정도이고 발표하기는 더욱 어렵다. 그런데 우리는 그런 컨퍼런스에 논문이 받아들여지고 구두 발표까지 할 정도다. 앞서 GDC AI 서밋에서도 발표를 했는데 굉장히 많은 이들이 관심을 갖고 우리와 소통했다. 그런 모습들이 AI R&D 부서의 기술 수준을 증명해준다고 본다.