[기사 본문] 소니가 레이싱 AI 에이전트 '그란 투리스모 소피'(Gran Turismo Sophy, 이하 GT 소피)를 발표했다. '그란 투리스모 스포트'를 통해 드라이빙 스킬을 학습한 GT 소피는 소니 AI, 폴리포니 디지털(PDI), 소니의 3사의 협업 프로젝트로 전에 없던 게임 체험을 제공한다.

GT 소피는 소니 AI가 개발한 최첨단 학습 알고리듬과 시나리오로 완성된 심층 강화 학습 기술, PDI의 드라이빙 시뮬레이터 그란 투리스모, 소니인터랙티브엔터테인먼트(SIE)의 클라우드 게이밍 인프라스트럭처를 활용한 대규모 트레이닝의 조합에 의해 탄생했다.

심층 강화 학습을 통해 세계 톱 레벨의 드라이버와 경쟁하기 위해 필요한 드라이빙 스킬을 습득, 대전 상대와 수십 센티미터의 거리를 유지하면서 경합하는 등 복잡하고 비선형적인 동적 특성을 지닌 차체를 대전 상대나 노면 상황에 따라 리얼타임으로 제어한다.

이러한 성과를 정리한 논문 '심층 강화 학습으로 앞지르는 챔피언 그란 투리스모 드라이버'(Outracing champion Gran Turismo drivers with deep reinforcement learning)는 AI 역사에 남을 기술 혁신으로 인정 받아 국제적인 과학 잡지 네이처의 표지를 장식했다.

강화 학습 기법은 AI를 학습시키기 위한 기계 학습 기법의 하나로 어떤 환경 하에서 액션을 실시하는 AI에 대해 그 액션에 의해 초래되는 결과에 근거한 보상 또는 페널티를 부여함으로써 표본 없이 AI에게 최적인 행동을 자율적으로 학습시키기 위해 사용된다.

소니 AI는 QR-SAC(Quantile-Regression Soft Actor-Critic)라 불리는 새로운 학습 알고리듬과 AI가 레이스 룰을 이해할 수 있도록 상황을 표현하는 방법, 레이스 스킬 습득을 가능하게 하는 트레이닝 방법 등을 개발해 GT 소피에게 레이스의 필수 스킬인 컨트롤, 레이싱 스킬, 레이싱 에티켓을 학습시켰다.

ㆍ컨트롤 : GT 소피의 운전 조작에 대해 그 결과 일어날 수 있는 다양한 가능성을 확률 분포로 명시적으로 추론, 물리 한계까지 코너를 공략하면서 레이스 중 일어날 수 있는 다양한 가능성에 대응한다.

ㆍ레이싱 스킬 : 슬립 스트림이나 크로스라인에서의 오버테이크 같은 특수한 스킬을 학습하기 위해 '믹스 시나리오 트레이닝'이라는 새로운 학습 수법을 도입, 몇 가지 중요한 장면을 의도적으로 재현해 특별히 튜닝 된 상대와 대전시켰다.

ㆍ레이싱 에티켓 : 레이스의 미묘한 룰과 페어 플레이 정신을 가치 함수 안에 학습시키기 위해 명문화된 룰과 암묵적인 공통 인식인 매너를 GT 소피의 보수 함수 내에 표현하는 방법을 개발했으며, 인간과의 대전 시 지나치게 공격적이 되거나 반대로 너무 소극적이 되지 않도록 학습 시 대전 상대의 바리에이션을 조절하는 방법도 개발했다.

이를 위해 소니 AI는 SIE의 클라우드 게이밍 플랫폼 상의 플레이스테이션에서 GT 소피의 학습을 위해 커스터마이즈 된 웹 기반 기계 학습용 연구 개발 플랫폼 DART를 이용했으며, DART에서는 1천대 이상의 PS4에 액세스 하여 수백 개의 실험을 동시에 병행했다.

 

2021년 7월과 10월 소니 AI와 PDI가 공동 개최한 레이스 이벤트 '레이스 투게더 2021'에서는 GT 소피와 그란 투리스모 톱 드라이버 간의 대전이 이루어졌다. 서로 다른 코스와 차종으로 진행된 레이스에서 어떤 배틀이 펼쳐졌는지는 아래 두 영상에서 확인 가능하다.