[H/W] Quest 헤드셋만으로 Meta가 전신 VR 추적을 시연합니다

[심심해♥]

번역기로 인한 오역이 있을 수 있습니다.

헤드셋만으로 Meta가 전신 VR 추적을 시연합니다.

Meta Reality Labs는 기계 학습(ML)과 Quest VR 헤드셋의 센서 데이터를 결합하여 팔, 다리, 몸통, 머리를 포함한 전신을 보여주는 최신 기술로 아바타 렌더링에서 큰 발전을 이루고 있습니다. 그 결과 Quest 2 헤드셋을 착용한 사람의 자세와 움직임이 매우 사실적이고 정확하게 표현됩니다.

Quest VR 헤드셋과 두 컨트롤러의 위치와 방향만 다리 움직임과 위치를 추정하는 데 사용되었기 때문에 이는 매우 놀라운 일입니다. 이 놀라운 시스템에는 다리에 추적 밴드가 없고 외부 카메라가 사용되지 않습니다. 메타 연구 과학자 Alexander Winkler 는 arXiv 의 과학 논문에 대한 링크와 더 자세한 내용이 포함 된  YouTube 비디오 와  함께 Twitter에서 여러 비디오를 공유했습니다 .

과학적 의미에서 이것은 희소 센서의 동작 추적으로 알려져 있으며 ML은 알려진 것과 알려지지 않은 것 사이에 충분한 종속성이 있는 경우 매우 작은 것에서 의미 있는 정보를 추출하는 데 특히 능숙합니다. 우리는 걷고 달릴 때 균형을 위해 팔을 휘두르기 때문에 팔의 움직임은 다리가 일반적으로 무엇을 하고 있는지에 대한 좋은 지표입니다. 머리 기울기 및 방향과 결합된 ML 시스템은 대부분의 사람의 움직임을 매우 정확하게 예측할 수 있습니다.

팔다리를 추적하는 보다 전통적인 접근 방식은 다리와 몸통에 부착된 반사 마커와 같은 추가 하드웨어에 의존하여 외부 카메라로 식별하거나 다리의 다양한 위치에 무선 비콘을 착용하여 위치 및 동작 데이터를 전송하는 밴드를 사용합니다.

이러한 방법이 작동하는 동안 일반적으로 비용이 더 많이 들고 대부분의 앱과 게임에서 잘 지원되지 않는 액세서리 항목으로 판매됩니다. Meta가 Quest 2 헤드셋으로 좋은 결과를 얻을 수 있다면 개발자는 게임과 앱에서 신체 추적 기능을 구축할 가능성이 높아집니다.

이러한 상당한 발전에도 불구하고 Meta Reality Labs는 더 많은 작업이 필요함을 인정합니다. 충분히 빠르게 움직이면 ML 모델이 포즈를 올바르게 식별하지 못합니다. 비정상적인 자세는 컴퓨터가 예측하기 어렵고, 가상 환경에 현실에 없는 장애물이 있으면 움직임이 일치하지 않습니다. 하지만 전체적인 효과는 매우 좋은 것 같고, VR로 친구들과 수다떨 때 떠다니는 몸통이 아닌 전신을 볼 수 있는 것도 좋은 업그레이드가 될 것 같습니다.

바라건대, 이 기술은 곧 출시될 준비가 될 것입니다. Meta의 Quest Pro 헤드셋 발표 가 불과 몇 주 안에 예상 됨에 따라 전신 아바타의 타이밍이 완벽해 보입니다. Meta Quest Pro 는 눈의 움직임과 표정을 추적할 수 있어 친구, 가족 및 동료에게 향상된 존재감을 제공하여 가까운 시일 내에 크게 향상될 수 있습니다.

출처 : https://www.digitaltrends.com/computing/meta-full-body-vr-tracking-with-quest-headset/

[lunarcell02]

오 신기한 기술이네요
퀘스트 2에서도 지우너해주려나

[유리탑]

vr 게이머
버튜버
인디게임 개발자 에게는 희소식.

3d 애니메이터
모션캡쳐 장비 업체
vr 우동 매니아 에게는 공포

[태양별왕자]

카메라나 센서가 없는데 전신을 추적한다고 ???

[유리탑]

카메라 잇지 않음? 카메라가 있으니까 vr 안전구역을 설정할수 있죠
처음에 켜면 방화면 보여주면서 카메라 있다는거 알려주자늠
그게 계속 켜져 있으면서 반사되는 좌표값으로 위치를 설정하나 보져
말은 쉽지만 현실적으로 불가능할거 같은데 저게 되네;;

[법정기준일]

이 놀라운 시스템에는 다리에 추적 밴드가 없고 외부 카메라가 사용되지 않습니다.
라고 적혀있어요

[낭심고양이]

마지막 사진 발 각도를 보면 다른게 보이는데 추가 장비 없이 저정도로 예측하는거면 꽤 괜찮은듯?

[형광병아리]

"이 놀라운 시스템에는 다리에 추적 밴드가 없고 외부 카메라가 사용되지 않습니다."

순수하게 헤드셋과 컨트롤러에 달린 센서(가속도 등)만으로 현제 자세를 추정하는 기술인듯합니다. 걸을때 사람의 몸이 어떻게 흔들리고~ 뭐 이런거요

[유리탑]

그렇다면 진짜 놀랍네요.
기술발전이 덜덜덜

[유리탑]

무섭네요. 기울기 만으로 발 위치까지 ㄷㄷㄷ

[루리웹-475507]

헤드셋 자체에 달린 카메라는 사용하는게 맞고, 저기서 말하는건 추가적인 카메라나 센서없이 헤드셋+컨트롤러 혹은 헤드셋만으로 동작을 추적한다는 의미인거같습니다.

[alenoa]

단순기울기만은 아니고 백터 무브도 추적할 것 같네요.
AI 학습이 발달하다보니 아마 헤드셋의 백터랑 로테이트 가지고
사람의 다리가 어떤자세일때 이런 값들이 발생하는지 학습해서 정의해놨나 보네요.

[무한의체력]

외부카메라가 사용되지 않는다고 했지 퀘스트 내부 인사이드아웃 카메라를 사용하지 않는다고는 하지 않았다. 실제로 현재 핸드 모션 트래킹도 카메라로 함.

[법정기준일]

네 전 외부카메라 얘기한겁니다
질문하신분도 외부카메라 얘기한거구요

[아이유의팔레트]

소아온은 언제쯤..

[루리웹-7820913786]

VR시장은 메타가 멱살 끌고 가는구나...

[자매배캅이너무나좋은썰렁펭귄]

야 이거 완전 사륜안 상대법...
"발목센서가 없어? 상대의 팔 움직임을 파악해 추론해내는거다"

[리사린린]

아니 이게 된다고??????

[킹슬랜딩]

와 다른건 모르겠고 진짜 VR발전 잘해라 신세계를 진짜 느껴볼수있게

[루리웹-8718209783]

이게 더 발전되면 이제 정말 들고 다니는 스마트폰 사라질듯

[루리웹-6918548260]

신기하고마이

[쎈니아]

내 물린 메타 주식 탈출기회 언제오냐

[laRvaNos]

확실히 기기의 각도 , 높이 등등으로 대충이나마 앉기 , 눕기 , 걷기 등등 표현하면 좋긴 할듯