[VR] 퀘스트 vs 비전프로 패스쓰루 비교

[돼지 저금통]

원본 글 : 아카라이브 거인녀님 게시글입니다.

어떤 유튜버가 비전 프로에 있는 퀘스트 피아노 비전 비슷한 앱 비교하는 영상 올려서 한번 봤는데

일단 캘리브레이션을 해도 머리를 살짝 움직이면 바로 키랑 실제 건반 위치가 계속 틀어진다는 내용임

미세한 조정이 안 되서 그런거일 수도 있는데, 특이점은 처음에 맞는가 싶다가도 머리를 움직이면 위치가 틀어진다는 점이었음

옛날에 비전 프로 스케일 매칭 관련 알고리즘 유무에 대한 의문점 얘기한 적이 있는데,

(아래 글 참조)

https://arca.live/b/vrshits/98177128

▲ 비전 프로의 패스스루 카메라는 메타 퀘스트 3의 카메라보다 덜 자연스러운 위치에 있습니다.

(실제 눈 위치랑 너무 어긋나있다는 뜻)

퀘스트의 패스쓰루와 다르게 일렁이는 왜곡이 없다는 것은 매우 신선하고 숭고하게 느껴질 수 있으며, 

대부분의 사람들이 비전 프로의 패스스루를 칭찬할 때 말하는 의미일 것입니다. 

가까이 보이는 물체가 손밖에 없는 소파에 앉아있다면 현재 보고 있는 화면이 깊이감이 맞지 않는다는 사실조차 느끼지 못할 것입니다. 

하지만 책상에 앉아 있다면 고개를 돌릴 때 눈앞의 테이블과 모니터가 가상 물체와는 다르게 이상하게 틀어진다는 것을 확실히 느낄 수 있을 것입니다. 

또한 이렇게 가까운 거리에서는 고개를 움직일 때 가상 물체와 실제 물체의 정렬이 약간 어긋나는 것을 알 수 있습니다. 

이는 트래킹 오류 때문이 아니라 비전 프로의 패스쓰루의 뎁스 매핑이 정확하지 않기 때문입니다. 

퀘스트 3을 얼굴에 썼다가 곧바로 치워버리면 현실 세계의 물체의 크기가 헤드셋을 착용했을 때 패스쓰루로 보이는 위치와 축척으로 그대로 유지되는 것을 볼 수 있습니다. 

비전 프로를 얼굴에서 들어 올리면 모든 것이 약간 오프셋된 것을 볼 수 있습니다. 

애플은 깊이와 스케일이 부정확해지는 대가로 일렁이는 왜곡 효과가 안 보이게 만든 반면, 메타는 깊이와 스케일을 우선시하는 대신 버블 왜곡이 심하게 발생하는 대가를 치렀습니다. 

(출처: UploadVR 비전 프로 리뷰)

https://www.uploadvr.com/apple-vision-pro-review/

메타 퀘스트의 경우 패스쓰루 영상이 단순 비디오 피드가 아닌, 합성(synthetic - 뭔가를 합쳤다는게 아니라, '합성 섬유'처럼 인공적으로 만들어졌다는 의미) 이미지 뷰임

카메라로 들어온 이미지를 자체 알고리즘을 거쳐 아예 재구축을 거친 다음 눈으로 쏴주는거

이 처리 과정 때문에 추가 레이턴시가 발생하지만, 덕분에 VR 헤드셋을 썼다 벗었다 반복해보며 패스쓰루랑 현실을 비교해보면 기기에서 스케일과 뎁스가 거의 현실과 동일한 수준으로 만들어지고 있다는 것을 알아차릴 수 있음

패스쓰루+ 알고리즘 관련 내용은 아래 참조

(저전력 모바일 칩셋에서 합성 과정을 최대한 빠르게 처리하도록 최적화 하는것이 관건)

https://research.facebook.com/publications/passthrough-real-time-stereoscopic-view-synthesis-for-mobile-mixed-reality/

https://arca.live/b/vrshits/99046535

이 때문에 카메라로 들어오는 정보가 바뀔때의 대응시간/레이턴시는 퀘스트가 비전 프로보다 떨어짐

이미지를 받아서 한번 재처리 하는 과정을 거쳐야 하거든

(바이브 XR 엘리트는 3D도 아닌 단순 2D 단안 이미지만 보여주는데도 소프트웨어가 그냥 쓰레기라서 느린거고)

반면 비전 프로는 R1 이라는 전용칩 내에 리얼타임 운영체제가 패스쓰루만 전문으로 처리해서 무조건 12ms 안에 한 프레임을 끝내서 쏴주는 형식으로 되어있고, 딱히 합성 재처리 과정도 없어서 빛 자체가 카메라로 들어와서 처리하는 레이턴시가 짧음

추가적으로 패스쓰루를 위해 별개로 구동되는 리얼타임 운영체제 덕분에, 앱을 구동하는 메인 시스템이 크래시가 나도 패스쓰루는 항상 별개로 정상 작동하게 되어있음. M2 칩이랑 R1 칩 듀얼로 전기를 2배 먹어가며 시스템을 2개 돌리는거라고 봐도 무방

https://arca.live/b/vrshits/99185038

(여전히 HTC는 ㅄ인걸 알 수 있다)

다만 카메라에 들어오는 빛을 처리하는 레이턴시가 아닌, 머리의 움직임이 반영되는 모션 레이턴시는 오히려 퀘스트가 더 뛰어난 괴상한 상황이 발생함

"엥? 카메라 처리 속도가 느린데, 왜 머리를 돌릴때 화면에 표시되는 이미지는 퀘스트가 더 빠르게 반응하지???"

이는 Asynchronous Reprojection 같은 기술을 적절히 응용하는 덕분

위의 영상이 리프로젝션 기술의 원리 시연

렌더링 된 프레임 (혹은 패스쓰루 카메라로 들어온 이미지)는 한정되어 있음

초당 60프레임, 90프레임 등등

하지만 머리의 움직임 (위의 시연 영상에서는 마우스를 이용한 시점 이동)은 이보다 더 빠르게 움직이고, 프레임 생성률 (혹은 제한된 카메라 캡쳐 빈도)는 이를 따라오는데 한계가 있음

이 때문에 프레임이 부족해도 시점의 움직임에 맞춰 이 전 프레임 렌더링 정보를 이용해 살짝 이동시킨 시점을 생성해내 프레임 보간을 달성하는 것이 Asynchronous Reprojection 기술

단일 프레임만 이용해서 시점 이동을 하는 리프로젝션 시연

단순히 프레임 위치만 바꾸는게 아니라, 이 전에 렌더링 된 프레임의 뎁스 정보도 이용하기 때문에, 마치 얼어붙은 시점의 씬 안에서 이동하는 듯한 느낌

렌더링 되지 못 한 저 어두운 공백 부분은 실제 적용시 가장자리 정보를 스트래치 해서 매꾼다

일명 보더 스트래치

실제 프레임을 정지 시켜서 자세히 살펴본다면 스트래치 된 영역이 튀겠지만, 실제로는 매우 빠르게 지나가는 프레임의 가장자리에 불과하므로 거의 눈에 보이지 않음

퀘스트는 카메라와 눈의 물리적인 시점 차이 (중간에 디스플레이 패널을 반드시 넣어야 하기 때문에 카메라는 절대로 착용자의 눈의 정확한 XYZ 좌표상에 있을 수 없음) 극복을 위해 패스쓰루+ 알고리즘을 사용하는 것이고,

이는 실시간 뎁스 매핑 정보를 이용해 카메라가 실제 사용자의 눈의 위치에 있었으면 보였을 정확한 이미지를 시뮬레이팅 하는 것

처리된 씬 자체에 뎁스 정보도 있기 때문에 위에서 보여준 리프로젝션 타임워프 기술도 동일하게 적용 가능함

이 덕분에 퀘스트를 쓰고 머리를 빠르게 움직여도 패스쓰루 영상에 레이턴시가 너무 길게 느껴지거나 모션블러가 생기지 않는 것

https://x.com/fewerwrong/status/1759753963841507443?s=20

기본적으로 2012년경에 마이클 애브라시와 존 카맥은 머리 움직임과 디스플레이 움직임 표시의 지연, 즉 "모션-광자" 지연을 20ms 미만으로 유지해야 대부분의 사람이 멀미를 예방할 수 있다고 했습니다.

가장 중요한 것은 다음과 같습니다. 모션 추정 (즉, 예측) 2. 리프로젝션 (예: 비동기식 타임워프(ATW))

머리 움직임 반영 레이턴시를 최대한 낮게 유지해야 했던 가장 큰 이유는 인간이 머리 회전 레이턴시에만 극도로 민감하게 반응하기 때문입니다. 리프로젝션은 기본적으로 완벽한 방식으로 머리 회전 레이턴시에 대한 내성을 크게 증가시킵니다.

(번역은 아래 글 참조)

https://arca.live/b/vrshits/99430746

어떻게 보면 퀘스트는 씬에 대한 뎁스 정보를 이용해서

1. 현실과 1:1 스케일의 정확한 패스쓰루 이미지 재구축

2. 뎁스 정보를 활용한 빠른 머리 움직임 리프로젝션으로 낮은 모션 레이턴시 달성

...이 있지만, 최대한 빠른 뎁스 재구축을 위해 뎁스맵이 굉장히 러프하며, 이로 인해 카메라와 눈의 시점차가 가장 극대화되는 근거리 물체에 대해 울렁거리는 왜곡이 발생

비전 프로는 고해상도 카메라에, 재처리 없이 그냥 빠르게 카메라 피드만 보내줘서 저지연에 울렁임은 없는 패스쓰루 달성

하지만,

1. 재처리가 없어서, 머리를 움직이면 카메라와 눈 사이의 거리에서 발생하는 parallax 차이 때문에 상이 이상하게 움직임

(위의 짭 피아노 비전 짤에서 가상 건반이 머리를 움직일 때 마다 계속 틀어지면서 현실 건반에 매칭이 안 되는 이유)

2. 현실의 뎁스 정보와 카메라로 보이는 뎁스 정보가 달라서, 헤드셋을 쓰고 벗으면 스케일감 괴리감이 이상하게 느껴짐

3. 리프로젝션이 제대로 없이 단순 카메라 피드만 이용해 머리 움직임에 대응하다보니 레이턴시로 인해 머리를 돌릴때의 모션 블러가 매우 심각해짐

...참고로 퀘스트3도 전면 하단 흑백 카메라 중 하나를 막으면 카메라를 이용한 뎁스 추정이 불가능하게 됨

이를 이용해 뎁스 맵 생성이 아예 불가능하게 만들어서, 패스쓰루+ 알고리즘이 적용이 안 되게 무력화가 가능

이 방법을 이용하면 사람들이 불평하는 "울렁거림"이 없는 패스쓰루를 체험 가능

이를 이용하면 비전 프로로 보이는 패스 쓰루가 어떨지, 뎁스 보정이 제대로 안 된 패스쓰루의 단점을 간접 체험 가능

(단, 비전 프로도 어느정도의 parallax 보정은 들어갔을 수 있어서 완벽하게 동일하진 않을수도)

궁금한건,

애플이 WWDC에서 visionOS 2.0 버전을 내면서 이거를 과연 고칠까? 하는 의문

일단

1. 패스쓰루 레이턴시가 재구축 과정에서 증가하면서, 자신들이 홍보하던 12ms 레이턴시를 타협해야 할 수도

2. 뎁스 보정 과정에서 근거리 오브젝트 주변에 많든 적든 일렁이거나 떨리는 아티팩트가 발생할 수 있음

이런 문제가 있어서, 그냥 패스쓰루 자체가 깔끔하게 보이기만 해서 '완벽함'이라는 착시를 주려면 아예 포기할 수도 있음

 다만 위의 짭 피아노 비전 짤에서도 볼 수 있다시피, 실제 현실과 제대로 1:1 매칭이 되는 AR/MR 구현을 위해서는 장기적으로 해결해야 할 필연적 문제

메타의 CTO: "퀘스트 3 패스스루는 소프트웨어 업데이트를 통해 시간이 지남에 따라 '완만하게' 개선될 것입니다."

https://arca.live/b/vrshits/89605014

메타 퀘스트의 경우에는 알고리즘 최적화를 통해 뎁스맵 생성을 좀 더 빠르고 정확하게 만들면 가능하긴 한데, 성능 한계도 있고 해서 이런 방법으로는 극적으로 개선하는 것 자체는 어렵긴 함

퀘스트 프로는 뎁스 매핑 포인트가 프레임당 10000개 밖에 안 되고, 퀘스트3는 거기서 좀 더 늘었을진 몰라도 아직 완벽한 뎁스 맵핑이 안 됨

이 때문에 인공 신경만 이용하는 뉴럴 패스쓰루나, 라이트필드 캡쳐 이용하는 플라메라 등등도 연구하는 것

퀘스트 같은 경우 핸드 오클루전 및 다이나믹 오클루전에 이 이미지 재구축에 사용되는 러프한 뎁스맵을 이용함

이를 통해 손 주변에 형성된 저해상도 뎁스맵의 대략적 형태를 엿볼 수 있음

재구축 된 이미지 (카메라로 보이는 근거리의 손 이미지) 자체가 재구축을 거쳐 울렁거리는 형태가 되기 때문에, 이미지와 뎁스맵이 완벽하게 일치가 될 정도의 수준까지 가려면 상당한 연산력이 필요

반면 비전 프로는 애초에 뎁스맵이나 이미지 재구축 자체가 필요하지 않다보니,

막말로 포토샵에서 누끼따는 것 처럼 손 이미지만 인식해서 사진에서 손만 누끼따는 것 과 같은 작업만 하는 것으로 핸드 오클루전을 퉁치는 것으로 보임

즉, 어떻게 보면 Nvidia Broadcast에 있는, 그린 스크린 없이 특정 사물 윤곽선 누끼만 따는 이미지 인식에만 의존하는 방식일 것이라는 추측

(어디까지나 개인적인 추측이긴 하지만, R1 칩의 리얼타임 OS를 거쳐 지연 없이 패스쓰루로 들어온 이미지를 이후 메인 OS단에서 ARkit 이용해서 이미지 인식만 통해 누끼를 따는게 아닌가 싶은. 이 때문에 빠른 움직임에서 누끼 따는 부분에서 패스쓰루는 계속해서 다음 프레임을 지연 없이 쏴주고 있는데, 메인 OS단에서는 한박자 늦게 누끼를 따다보니 지연이 발생하는거고)

웃기게도 이 때문인지 비전 프로는 손에 다른 사물을 들고 있으면, 사물은 오클루전이 안 되고 진짜로 '손이 보이는 부분'만 오클루전이 되는 괴랄한 현상이 발생

뎁스맵 기반이 아닌 단순 '손이라는 이미지 인식'만 하기 때문이라는 추측이 맞다면 이해가 감

근데 이럴거면 메타도 뎁스맵이랑 1:1 매칭 전부 포기하고 Sement Anything Model 같은 자사 이미지 세그멘테이션 AI 모델 이용해서 카메라 이미지에 손 윤곽선 누끼만 따는 간단한 방식으로 만드는, 애플과 동일한 꼼수 쓰는것도 가능할텐데

출처 : https://arca.live/b/vrshits/99489792?p=2

[돼지 저금통]

존카맥은 프로그래밍의 신이야!

[lightlas]

VR 기기 안경 쓰고 착용하면 별로 불편하진 않습니다.
아, 다 그런건 아니고요.

[바바코노미]

근데 퀘프로는 패스스루 별로 였던거같은데 3는 꽤 괜찮아보이네요

[돼지 저금통]

퀘프로는 흑백 컬러로 찍은걸 SW로 컬러필터 씌운거였는데 퀘스트3 1600만화소 카메라를 400만화소로 픽셀비닝해서 찍은거라 품질이 더 좋죠

[바바코노미]

흑흑... 좀더 참아서 퀘3살껄

[Kinlang]

해상도는 약간 낮아도 패널이 비싼거라 색감이나 밝기 같은건 더 좋아요.
단독게임 위주로 하는거 아니면 퀘3 건너뛰고 퀘프로 가셔도 될듯요

[루리웹-5584404405]

메타가 잘 나가는 SNS는 캐시카우로 방치하고 AI랑 vr에 올인한 결과물이죠 뭐

[루리웹에서플스까면정지당함]

퀘3로 8k 패스스루 우동 꼭 보길

[돼지 저금통]

강남 노모자이크 8K 우동

[호시마치 스이세이]

패스스루 우동 그런게 있음?ㄷㄷ

[카렌ㅤ]

역시 짬 먹은 회사가 어디 안가네

[장동건]

뭘 잘 쓸줄 알아야쓰지..퀘스트3로 유튜브만 보고 있었네..ㅋ

[루리웹-9999999998]

까도 까도 악담만..하지만 클x앙 디프 보면 써보니 비젼 프로는 신이라 하던데 단점이 전혀없는

[개망창월]

1세대로 베타테스트(유료) 돌려서 공짜로 실사용 데이터를 얻고 있으니
2세대는 어느정도 개선되어서 나오겠죠. 상식적으로 생각하면.

[클라리온]

퀘스트는 AR 게이밍 등 가상 입체 사물과의 완벽한 연동성을 우선시하기에 아직까지 기술적 단점에도 불구하고, 완벽한 가상 현실 동기화를 추구함.

근데, 비전프로는 기존의 2D 그래픽 환경을 공간적으로 활용하는 것에 촞점이 맞춰져 있기에 만약 기술이 있다손 치더라도, 적용하지 않았을 것임.

결과적으로 패스스루 기술은 메타쪽이 더 뛰어난것 같으나, 두 기기는 추구하는 바가 다름.

사용자 입장에서, 비전프로에 AR 환경에서의 가상 입체 사물의 조작이 필요한 게이밍이나 활동적인 앱은 기대하면 안되는 것이 분명함.

AR 게임을 하는 등 활동적인 걸원한다면 퀘스트3

2D 그래픽 기반의 공간 컴퓨팅을 고화질로 할꺼면 비전프로

두 기기가 성격이 다르므로, 둘다 가지면 더 좋고...

물론 난 비전프로 샀는데 (배송중), 공간 컴퓨팅이 목적이므로 적극 사용해볼 생각임.

다만, 가격을 생각하면, 좀더 완벽하게 나왔어야함. 아쉽다 애플

[루리웹-1421964036]

일장일단이 있는 접근법인듯

[백에이커의숲]

피아노 비젼 써보고하는말인가… 퀘스트에서도 엉망임. 미디 꽂아야 그나마 작동하는 앱인데 이걸로 비교를 어케하냐. 그리고 원래 근거리에서 회전하는게 위치예측이 더 어려움. 가속도값이 너무 커서.

[이제쿵치딱]

비전프로

퀘스트3

핸드 트래킹 성능도 꽤 차이 나더만

[루리웹-1421964036]

성능x
갱신율o

[루리웹-5584404405]

그럼 비전프로는 왜 갱신률이 낮나요? 사용자를 위해? ㅋㅋ

[루리웹-1421964036]

갱신율을 단순히 빈도를 뜻하는거 뿐이고 그 빈도가 낮은대신에 추적 처리시간을 길게 잡아 추적 정밀도를 올리는 트레이드 오프성 측면이 있기때문에 접근측면이 다른거뿐임. 느린대신 정밀하냐, 덜 정밀한대신 빠른 반응이냐 그뿐임

[클라리온]

그러네요. 영상을 잘 보니 정밀성은 비전프로가 더 좋은것 같습니다. 두손이 겹쳐지거나 할 때 특히.

[그래안그래]

정밀+빠른반응이면 좋을텐데 말이죠..

[헨리페럿]

그게 성능이 딸린다는 소리입니다

[루리웹-1421964036]

그걸 그렇게 이야기 하면 이해력이 딸린다는 소립니다

[헨리페럿]

성능이 딸리니까 택1을 하는거죠 성능좋으면 선택자체가 필요없습니다.

[헨리페럿]

내 이해력이 더 높고요, 님은 애플 실드칠려고 이해를 포기한거죠

[루리웹-1421964036]

목적이 게임이냐 공간컴퓨팅이냐에 따라 정밀도 처리를 다르게 가져가는거지 뭔 성능 운운 ㅋㅋㅋㅋㅋ

[심판자z]

아이 시바 가격차가 얼만데 비전프로가 조금이라도 꿀리면 ㅈ되는거지

[castitatis]

일단 아이사이트떄문에 카메라 위치를 아래다 박은게 문제를 가져왔군요..

[찍힌치킨]

걍 용도가 게임용이냐 공간컴퓨팅이냐 차이네

[루리웹-0671644560]

이게 찐 유저정보지

[루리웹-0146012932]

공간컴퓨팅이 뭘 얘기하는지 모르겠지만 왜곡 때문에 실 사물과 상호작용을 못하면 패스스루가 있는 이유가 뭔가 싶은 ㅋㅋ