[배그] PUBG Labs 보고서 - 실력 기반 등급 시스템 1차 테스트

[사악한 소식]

여러분의 도움으로 PUBG Labs의 첫 실력 기반 등급 시스템 테스트를 성공적으로 마무리 하였습니다. 

관심을 가지고 참여해주신 많은 분들께 진심으로 감사의 말씀을 드립니다.

앞서 진행된 테스트를 통해 여러분이 제공해주신 피드백을 최대한 반영하여

더욱 개선된 실력 기반 등급 시스템을 마련하기 위해 노력하고 있습니다.https://cafe.naver.com/playbattlegrounds/4422976

■Labs를 통해 테스트를 진행한 이유

먼저 몇몇 플레이어 여러분께서 문의를 해주신 'PUBG Labs를 통해 실력 기반 등급 시스템을 테스트한 이유'에 

대해 자세한 말씀을 드리고자 합니다.

◇많은 양의 실제 데이터 확보

실력 기반 등급 시스템을 보다 의미 있는 시스템으로 만들기 위해

마스터리 시스템 개발 당시와 유사하게 '다크 런칭'을 진행하였습니다.

이를 통해 레이팅 알고리즘을 조정하고 시스템 기반 구축을 위한 초기 데이터들을 확보하였습니다.

하지만 곧 충분한 양의 초기 데이터 확보의 어려움에 직면하였습니다.

또한 플레이어 여러분의 게임플레이를 몰래 관찰한 결과, 여러분이 실제 상황에서 펼치는 PUBG 플레이와 

전혀 다른 결과를 얻게 된다는 것을 알게 되었습니다.

다음 단계로 나아가기 위해 저희에게 필요했던 것은

여러분의 실제 플레이에 대한 장기간의 관찰과 그로부터 도출되는 데이터였습니다. 

◇시스템에 대한 여러분의 피드백

아무리 시스템의 설계와 수치들이 올바르게 기획되었더라도

결국 받아들이는 여러분의 입장에서 시스템이 어떻게 느껴지는지가 중요하다고 생각했습니다.

저희는 조금 더 플레이어 여러분의 의견과 함께 실력 기반 등급 시스템을 개발해 나가고자 했고

이를 위해 Labs에 시스템이 제공한 레이팅에 대한 여러분의 만족 여부를 직접적으로 표출할 수 있도록 하였습니다. 

Labs는 실력 기반 등급 시스템의 개발 상황을 여러분에게 공유함과 동시에,

시스템이 여러분께서 바라보는 방향을 향해 나아갈 수 있는 초석을 제공하였습니다.

◇대화를 통한 커뮤니티와의 소통

커뮤니티에서 실력 기반 등급 시스템을 매우 진지하게 생각하고 있으며,

여러분께서 PUBG에 바라는 등급 시스템에 대한 확실한 이해 없이

개발을 진행하는 것은 의미가 없다고 생각하였습니다.

실력 기반 등급 시스템 출시와 함께 커뮤니티 전반에 걸쳐 활발하게 이루어진 토론들이 

시스템 개발에 매우 유용한 도움을 주었습니다.

또한 테스트 기간 동안 많은 플레이어 여러분께서 다양하고 번뜩이는 아이디어를 제공해 주셨습니다. 

일부 진취적인 플레이어 분들은 직접 제작한 실력 기반 등급 시스템을 제안을 주시기도 했습니다! 

저희는 여러분께서 커뮤니티에 남겨 주시는 소중한 댓글과 아이디어들을 자세히 확인하고 있으며,

모두 만족할 수 있는 실력 기반 등급 시스템을 제공해 드릴 수 있도록 앞으로도 최선을 다하겠습니다. 

■테스트 주기 개요

실력 기반 등급 시스템은 PUBG Labs에서 11월 말 처음 선을 보인 후 약 6 주간 진행되었으며,

테스트 기간동안 관찰한 데이터를 바탕으로 일부 알고리즘을 수정하였습니다.

실력 기반 등급 시스템의 기반 구조 덕분에 서버 점검요 없이 변경 사항을 즉각적으로 라이브 서버에 적용할 수 있었으며,

이는 저희가 여러분의 게임 경험을 개선시킬 수 있는 기회를 크게 넓혀주었습니다.

여러분의 설문 결과와 실제 데이터 분석, 그리고 다양한 소셜 채널 등을 통해 수집된 피드백을 바탕으로,

2월 내로 1차 테스트에서 발견된 알고리즘 구성 문제 개선을 위한 

2차 테스트를 진행하기로 결정하였습니다.

■흥미로운 관찰 결과

다음으로 Labs 실력 기반 등급 시스템에서 도출된 일부 재미있고 흥미로운 데이터와 피드백을 여러분께 공유하며,

다가올 2차 테스트에 대한 저희의 계획을 함께 논해볼까 합니다.

PC 플레이어들 중 18.8%가 경쟁적인 게임 플레이를 위해 옵트인* 했습니다.
(*옵트인: 플레이어의 실력이 평가에 반영되고 실력 기반 등급 시스템에 기록으로 사용)

콘솔의 경우 22.3%가 경쟁전을 위해 참여하며 PC보다 높은 비율을 보였습니다!

◇지역별 옵트인 비율

지역	PC	Console
아시아	19.70%	23.40%
유럽 중동 아프리카	15.20%	23.50%
일본	20.90%	28.60%
대한민국	18.50%	32.80%
북미	15.30%	21.50%

실력 기반 등급 시스템 테스트는 별도의 게임 대기열 없이 플레이어의 실력을 측정하기 위해 제공되었습니다. 

때문에 플레이어가 Labs 페이지에서 옵트인 하여 테스트에 합류를 할 것인지,

아니면 합류를 거절할 것인지 선택권을 제공하도록 하기로 결정하였는데요. 

위의 도표가 바로 지역 및 플랫폼 별로 실력 기반 등급 테스트에 참여하기로 결정해주신 플레이어 비율입니다. 

앞서 진행한 연구와 타 게임에서의 경험을 바탕으로 저희는 10% 이하의 옵트인 비율을 보일 것으로 예상하였으나,

이를 크게 상회하는 높은 참여도로 인해 기쁜 마음과 흥분을 감출 수 없었습니다!

어떤 경우에는 거의 삼분의 일에 달하는 플레이어가 테스트에 참여할 만큼 

플레이어 여러분이 얼마나 본인의 실력을 측정하는 데 열정적인지 다시 한번 확인할 수 있었습니다.

◇등급 분포

티어	분포도
브론즈	2.85%
실버	37.47%
골드	30.16%
플레티넘	24.15%
다이아몬드	5.24%
마스터	1.05%

*PC(스쿼드 3인칭)

위의 도표는 실력 기반 등급 시스템의 알고리즘인 등급 분포도 조정 시 중점적으로 다루는 

주요 지표의 현재 상태를 보여주는 자료입니다.

각 등급의 분포도는 현재 플레이어들이 RP와 티어 별로 어떻게 분류되는 보여줍니다. 

이 데이터는 매우 다양하게 분석해 볼 수 있겠지만,

간단히 PC의 실력 기반 등급 시스템에서 최소 50경기 이상의 매치를 

스쿼드 모드 3인칭으로 진행한 플레이어들의 분포표를 통해 말씀드리겠습니다.

해당 결과를 살펴보면 개선이 필요한 부분들이 보다 분명하게 보입니다.

브론즈와 마스터 티어의 분포도가 이상적인 수치보다 조금 더 크고 

다이아몬드 티어도 조금 부족한 측면을 보이는 것을 단편적인 예로 말씀드릴 수 있겠네요.

전반적으로 각 티어를 달성하기 더욱 어렵게 하고 난이도 조정을 진행할 예정입니다.

◇피드백

마지막으로, 테스트 기간동안 가장 화제가 되었던 피드백 몇 가지를 이야기해 보겠습니다.

"인게임 딜량의 경우도 점수 산정에 반영되어야 합니다. 

RP 획득 위해 같은 팀원과 킬 경쟁을 해야 한다는 사실에 기분이 좋지 않습니다"

시스템 테스트가 시작되고 처음 받은 피드백들 중 하나였고, 

게임플레이 경험 개선을 위해 우선적으로 조정해야 할 과제라는 것을 알고 있었습니다.

인게임 딜량 수치를 점수 산정법에 직접적으로 포함시키는 안을 진지하게 고려하였습니다만,

오랜 검토 끝에 플레이어가 얻는 긍정적인 측면보다 부정적인 측면이 더 큰 것으로 밝혀졌습니다.

단순히 딜량 수치를 반영한다면 이를 악용할 수 있는 극단적인 방법들이 너무 많기 때문이었습니다.

하지만 여전히 여러분들의 팀플레이를 해친다는 피드백은 해결해야 하는 중요한 과제였습니다.

이에 저희는 '어시스트'라는 새로운 컨셉을 도입하기로 하였습니다.

어시스트 기능의 도입으로 적을 제압하면서 충분한 양의 딜을 같이 넣어준 플레이어들의 경우

알고리즘 상 킬과 동등한 가치를 부여 받게 되어, 더 이상 팀원들 사이에 킬 경쟁을 할 필요성이 없도록 하였습니다.

"프로그레션 시스템처럼, RP 점수를 잃는 것보다 얻는 것이 비교적 너무 쉬운 것 같습니다. 

마스터 티어 플레이어들도 무한하게 점수를 얻을 수 있습니다"

맙소사.. 실력 기반 등급 시스템에서 저희가 가장 우려하던 일이 발생했습니다.

이 시스템은 프로그레션 시스템처럼 그저 많은 게임을 통해 계단을 올라갈 수 있는 것이 아니라

플레이어들의 실력을 정확하게 측정하는 것이 본 목적이었습니다.

저희의 최우선 목표는 여러분께 최적의 게임 플레이 경험을 제공하는 것이며, 

이를 위해 최대한 공정하고 정확한 실력 기반 등급 시스템을 제작해야 한다는 것을 인지하고 있습니다.

시스템이 아직 불완전하다는 여러분의 피드백이 있었고, 저희가 수집한 데이터도 동일한 결과를 말해주고 있습니다. 

사실 단순히 게임 플레이 시간이 아닌 플레이어의 실력을 바탕으로 티어 분포가 진행되고 있지만,

앞서 언급했던 등급 분포와 같이 개선이 이루어져야 하는 부분이 확실히 존재합니다.

두 번째 테스트에서는 좀 더 실력을 바탕으로 한 엄격한 등급 산정을 통해

모든 등급의 난이도가 전체적으로 상승하게 될 것입니다. 

높은 티어의 플레이어들은 게임 당 얻을 수 있는 RP 양이 낮은 티어의 플레이어보다 줄어들 것이며,

마스터 티어에 위치한 플레이어의 경우 3500점 이상 부터 매 100 RP당 난이도가 상승하는 소프트 캡과 

5000 RP에서 등장하는 하드 캡으로 더 이상 무한하게 점수를 모을 수 없게 될 것입니다.

■마무리하며

실력 기반 등급 시스템은 아직 개발 중인 기능으로,

앞으로도 지속적인 소통을 통해 커뮤니티와 함께 올바른 방향으로 나아갈 수 있도록 노력할 것입니다.

높은 퀄리티와 재미를 가진 실력 기반 등급 시스템이 되기 위해서는 여러분과 저희 개발진 모두의 지속적인 관심이 필요합니다.

마치 살아있는 생명체처럼 말이죠 :)

실력 기반 등급 시스템의 두 번째 테스트를 시작하며, 그리고 앞으로도 계속하여, 

시스템의 개발 방향성이 여러분께서 원하는 방향으로 나아갈 수 있도록 최선을 다하겠습니다.

앞으로도 저희가 올바른 방향으로 나아갈 수 있도록 지속적인 관심을 부탁드리며,

지난 1차 테스트에 참여해주신 여러분께 깊은 감사의 말씀을 드립니다.

플레이어 여러분의 더 많은 치킨 디너를 기원하며, 2차 테스트를 마치고 다시 찾아뵙겠습니다.

감사합니다.

PUBG 실력 기반 등급 시스템 개발팀

[출처] [안내] PUBG Labs 보고서 - 실력 기반 등급 시스템 1차 테스트 (배틀그라운드 공식카페 - PLAYERUNKNOWN'S BATTLEGROUNDS)|작성자 PUBG프라이팬

출처 : https://cafe.naver.com/playbattlegrounds/4422976

[쌍두거인]

핵장사 언제까지 할꺼냐?

[착한닉네임2]

배그 500시간이하는 랭 못돌리게하면 좋을듯 그냥 사자마자되면 핵쟁이 + 양학러들만 살판나서

[trueheart]

500시간 하기도 전에 겜 접을 듯
그건 너무 나가셨음

[심장이 Bounce]

핵이나 잡지

[P4inKiller]

하드웨어 밴이나 좀 해라 진짜

[리카딩구]

치킨먹는 조건이 아군에 핵쟁이 있을때

[잡채만세]

어쩔땐 핵이 어쩔땐 핵이 잠시 무력화 되는지 치킨 먹을때가 있긴 합니다....

[사방이적]

핵도 핵인데 고인물도 너무 많아서 게임자체 흥미가 떨어져감

렛지그립 덕분에 별 해괴한 침투루트 존버장소들이 생겨서 모르면 죽어야하는 경우가 많더라 ㅋㅋ

우각인가 뭔가도 얼척없고