[VR] 애플 비전프로, 공간 컴퓨팅을 생각한다 ~ 신 디바이스에서 보는...

[V-DKB]

空間コンピューティングを考える～

新デバイス「Apple VisionPro」に見る次世代XRの最新形

- 해외 기사 -

공간 컴퓨팅을 생각한다 ~

신 디바이스「Apple VisionPro」에서 보는 차세대 XR의 최신형

공간 컴퓨팅이란? Apple이 2023월 6월, 새로운 디바이스

「VisionPro」를 발표한 것은 기억에 새로운. 장르로서는 AR/MR 디바이스이지만,

Apple은 이번 디바이스로 할 수 있는 것을 「공간 컴퓨팅」이라고 자리매김하고 있다.

기존의 XR과 어떻게 다른 것일까.

공간 컴퓨팅(Spatial Computing) 은 원래 새로운 단어·개념은 아니다.

MR 디바이스인 MagicLeap이나 Microsoft의 HoloLens가 등장했을 무렵부터 사용되고 있으며,

원래는 2003년에 MIT 미디어 랩 OB의 사이먼 그린 월드씨에 의해서 처음으로,

「기계가 실제의 오브젝트나 공간에의 참조를 유지 조작하는

기계와 인간의 상호작용"으로 정의되었다("Spatial Computing ; Greenwold Simon").

그 의미에서 공간 컴퓨팅은 "XR 기술을 기술 수단에 사용한 컴퓨팅 형태"라고도 할 수 있고,

광의로는 앱으로서의 메타버스 등을 포함한 "XR"과 동등한 말이라고도 포착된다.

그러나 애플은 비전프로의 발표시에 'XR'이라는 말을 사용하지 않았다.

"물리적 공간을 컴퓨터의 인터페이스로 이용함으로써

PC 등 기계의 고정된 장소에 묶일 필요가 없다"는 본래의 의미에 주목하고 있다고 생각된다.

발표회의 장소에서 실제로 VisionPro를 체험해 왔다고 하는 저널리스트의

니시다 무네 치카씨는, 디스플레이의 존재에 주목하고 있다.

니시다씨에 의하면, 지금까지의 디스플레이는,「평면에 정보를 비추는 것」이며,

우리는「실세계 안에 놓인 디스플레이를 본다」라는 형태로 보내고 있어,

3D 표현도 외관상의 것이었다. 그러나 시야를 디스플레이로 덮는

HMD(Head Mounted Display: 헤드 마운트 디스플레이)에 의해,

「HMD 안에 그려진 공간을 『또 하나의 현실』이라고 느낄 수 있는 체험을 할 수 있다」

「Vision Pro에서는 영상 속 에 윈도우나 3D 오브젝트를 거듭해,

「현실 안에 앱이 떠 있다」세계를 실현하고 있다」라고 지적한다

(「Apple Vision Pro」에 이르는 공간 컴퓨팅의 역사, 니시다 무네 치카)

즉 디스플레이가 시야를 덮고, 컴퓨팅 하고 있는 유저 자신도 그 안에 들어가 있는 상태이다.

이 '공간'이 가상 현실인지 혹은 '리얼한 현실'의 차이이지만,

애플은 후자에 무게를 두고 있는 것 같다.

Apple로부터 제공되고 있는 VisionOS 베타판의 SDK와

개발 환경 Xcode의 시뮬레이터에서 실제로 데모를 움직여 캡쳐한 이미지.

아이콘이나 앱 화면이 공중에 떠오르고, 내장된 3D 오브젝트가 튀어나온다.

배경은 시뮬레이터가 준비하고 있지만, 3차원으로 표현되고 있어

시점을 어느 정도 이동할 수 있다. 서두의 질문에 우선의 대답을 검토하면,

「XR」은 VR이나 AR, MR이라고 하는 현실 세계와

디지털의 가상 요소를 조합하는 기술을 포괄하는 말이지만,

「공간 컴퓨팅」은 그 XR 기술을 사용하면서,

현실 공간을 디지털 정보에 통합하는 접근법이 된다.

애플은 이번 디바이스의 혁신적인 요소이기 때문에

기존의 'XR'과의 차별화를 도모하고 "재정의"하고 싶었다고 생각된다.

Apple의 발표에서는 그 밖에,「이머전」(immersion)이나「이머시브」(immersive)

라고 하는 키워드가 다용되고 있어 (둘 다「몰입한, 실체험의」라고 하는 의미),

VisionPro용으로 설계된 VisionOS에서는,

어플리의 시츄에이션이 실질 AR인지 VR인지를 몰입형의 정도로 표현하게 되어 있다.

HMD: 공간 컴퓨팅 장치

최근의 HMD의 트렌드로서, 표시 부분이 유리로 주위의 현실을 그대로 볼 수 있는

「광학 시스루 방식」이 아니라, 카메라로 촬영한 영상에 디지털 표시를 거듭하는

「비디오 시스루 방식」을 채용한 디바이스의 등장 가 잇따르고 있다

(「비디오 시스루형이란? VR/AR/MR에 있어서의 3개의 HMD 디스플레이 타입을 해설」).

VisionPro도 후자로 분류된다.

광학 시스루 방식은 실세계의 시각이 자연스럽다는 이점이 있고,

한편의 비디오 시스루 방식은 합성 결과가 균질하고

다양한 화상 처리의 적용에 향하는 이점이 있다.

또 광학 시스루 방식은 그 구조상, 중첩된 디지털 표시가 반투명하고,

휘도에 따라서는 비쳐 보이고, 시야각의 경계도 현실 속에 나타나기 때문에,

몰입감이 깎이는 씬도 있다.

이에 비해 비디오 시스루 방식은, 영상의 융합 레벨이 높지만,

리얼타임이라고는 말할 수 없는 일단 카메라 영상으로서의 처리가 들어가 있기 때문에,

현실로부터 타임 러그가 생긴다.

다만 VisionPro는 이 근처, 어긋남이나 왜곡이 거의 없고,

신경이 쓰이지 않을 정도의 정밀도를 실현하고 있다고 한다.

덧붙여서 스마트폰이나 태블릿에서 가동하는 AR 앱 등도

일단 카메라 영상을 통한 비디오 시스루 방식이다.

VR 디바이스인 Meta(구 Oculus) Quest1/2도,

비디오 시스루 기능(패스 스루 모드)을 탑재하고 있지만,

플레이 중에 주위의 가구에 부딪히지 않게 한다고 하는 리스크 회피가 목적이며,

해상도의 낮은 흑백 영상이었다.

그러나 Meta의 VR회의 서비스 「Horizon Workrooms」에서는,

지정된 물리 키보드를 VR내에서 이용할 수 있는 것 외에,

지정되어 있지 않은 물리 키보드에서도,

수중만 잘라 현실 공간을 비춘 시스루 영상으로 해,

VR회의 공간 에서 다른 리모트 유저와 커뮤니케이션하면서,

의사록을 취하는 등의 타이핑 작업이 가능했다.

이 경우 디스플레이 부분은 VR에 표시됩니다

("Meta Horizon Workrooms의 VR에서 키보드 사용").

이것은 "VR 공간에서 현실 PC 작업을 한다"는 공간 컴퓨팅 시도의 예이다.

2022년에 발매된 Meta Quest Pro에서는,

이 비디오 시스루 영상이 칼라가 되어, 더욱 실용적으로 되고 있다.

이 노선은 2023년 안에 발매 예정인 Meta Quest 3에서도 답습될 예정이다.

이와 같이 HMD에서의 비디오 시스루 방식의 채용은,

1대로 VR 앱, AR 앱의 양쪽 모두에 대응할 수 있는 가능성을 나타내고 있었지만,

VisionPro에서는 거기를 더욱 진화시켜,

디바이스의 손잡이(디지털 크라운)를 비틀림으로 몰입도를 변경할 수 있는

(즉 VR과 AR 사이를 동적으로 왕래할 수 있는) 타입의 앱도 구성 가능하다고 한다.

Apple의 VisionOS에서 콘텐츠가 현실 공간에 떠있는 스타일(.mixed, AR에 가깝습니다),

배경까지 완전히 덮인 스타일 (.full, VR에 가깝습니다) 및

그 중간 (.progressive)의 가변 스타일 앱의 몰입도로 구성합니다

이렇게 보면 Microsoft HoloLens, Meta Quest 시리즈,

Apple VisionPro는 각각 MR이 가능한 HMD 디바이스이지만,

이용 장면에 상당히 차이가 있어 공간 컴퓨팅을 실현하는 앱도

다음과 같이 이러한 특성을 살렸다.

◎HoloLens

AR(MR)이 주체이며, 현실 공간에서 사용한다. VR 요소는 없다.

◎Meta Quest 시리즈

VR이 주체이지만, AR(MR) 요소도 도입해 현실과의 인터랙션을 도입하고 있다.

◎VisionPro

AR(MR)이 주체이지만, VR도 가능하다.

공간 컴퓨팅의 인터랙티브성 및 기타 기술 요소

공간 컴퓨팅에서는 디지털 정보와 거기에 존재하는

사용자 자신의 인터랙티브성, 입력 방식도 중요하다.

이것도 다음과 같이 진화하고 있습니다.

◎핸드 트래킹

HMD를 착용하고 있는 유저의 손을 인식해,

그 위치를 VR이나 MR공간의 아바타의 손에 반영시킨다.

◎아이트래킹

동공의 검지로부터 머리부에 대한 안구운동을 계측하고,

유저의 주의점(시선이 어디를 향하고 있는지)을 판정한다.

어느 쪽도 종래의 디바이스에 탑재되고 있는 센서 기술로,

HoloLens는 아이트래킹으로 보고 있는 UI 버튼등의 선택,

핸드 트래킹을 응용한 제스처에 의한 조작도 실현하고 있다.

VisionPro에서는 이것들을 조합해, 아이콘의 지정을 아이트래킹으로 실시해,

버튼을 누르는 등의 조작은 수중에서 실시하는 모습이 데모로 나타나고 있다.

종래의 핸드 컨트롤러나 맨손의 트래킹으로,

공중에 떠 있는 버튼이나 바등의 유저 인터페이스를 조작하는 방식은,

장시간 실시하면 팔이 상당히 피곤하다

(이것은 PC의 마우스 조작에서도, 리스트 레스트가 없으면

피곤하다 오는 것을 상상하면 알기 쉽다).

그러나 VisionPro에서의 아이트래킹과 손가락 조작으로의 입력은

무릎 위에 놓은 손에서도 가능하기 때문에 획기적이다.

또 음성으로의 인식(Siri에 대응)이나, Bluetooth등으로 접속한 키보드,

트랙패드로의 입력도 계속 이용 가능하게 된다.

정밀도가 높은 공간 컴퓨팅을 수행하기 위해서는

장치가 주변 현실 공간을 정확하게 인식해야합니다.

최근에는 사전 구축된 디지털 상의 3D 맵핑과 카메라 영상을 대조해

고정밀 위치 정보를 특정하는 VPS(Visual Positioning Service)

기술의 진전이 주목받고 있어 광범위한 MR에 빠뜨릴 수 없다.

◎모션 추적

VR상에서 신체의 자세 정보를 아바타의 움직임에 전달하는데 중요.

스마트폰의 화상 해석으로부터의 골격 추정이나, 6개의 소형 센서를 신체에 장착해

최소한의 자세 재현을 실시할 수 있는 SONY의 mocopi (https://www.sony.jp/mocopi/) 등,

간단하게 실현 가능한 타입이 증가하고 있다.

◎3D 캡쳐(3D 스캔, 자유 시점 영상 생성)

iPhone 1대에서 고화질의 3D스캔이 가능한 앱으로,

LiDAR나 포토그라메트리에 대응한다.

기존의 기술에서는 약한 분야(반투명이나 메탈릭으로 반사하는 것)를

AI 보정으로 극복하는 NeRF나, 영상으로부터 중간 정보를 합성하는

3D Gaussian Splatting, 나중에 시점을 자유롭게 움직일 수 있는 3D동영상인

볼루메트릭 영상 등 현실 공간을 3D디지털 정보로 파악하는 기술이 진전, 보급되고 있다.

◎맨눈 3D 디스플레이

HMD나 특수한 안경을 걸지 않아도, 양눈의 시차에 대응한 영상을 표시해

3D감, 깊이감을 표시할 수 있는 렌티큘러 렌즈나,

시선 인식형 라이트 필드를 채용한 디스플레이가 등장하고 있다.

여기에는 SONY의 ELF-SR 시리즈나 nubia Pad 3D(Android 태블릿),

ASUS ProArt Studiobook(노트북) 등이 있다.

공간 컴퓨팅의 적용 분야와 가능성

...

- 이하, 기사가 너무 길어서 생략... -

원본출처 | https://www.imagazine.co.jp/spatial-computing/

[LUCIDO]

번역 감사합니다.

[호츠만]

대박일까 아니면 피핀처럼 쪽박일까

개인적으로 잘되서 저가형도 나와주었으면 함

[choi]

3499달러 (약 450만원)인데... 실제 구매로 많이 이어지진 않아보입니다

[호츠만]

실제로 애플도 생산량을 많이 안잡았다고 하니
애플이 생각하는 이득 분기점만 넘어도 성공...이러나?

[장동건]

QCY에서 1/100의 가격으로 뽑아주길 기다리고 있습니다.

[호츠만]

1/100이면 4만5천원인데 가능할리가

[루리웹-5584404405]

에어팟 맥스도 시장에서 큰 영향이 없었던 걸 생각하면 뭐...

[애슬론]

흑흑 빨리 한국도 팔아줘,,,

[choi]

메타가 워낙 VR에 진심이라..
이번 메타퀘3도 69만원의 비교적 저렴한 가격에 .. 오늘 미국 마트에 전시됐다는데 정말 기대이상이라는데..

애플도 일단 가격이 너무 에러인 상태라 ... 실제 400만원 가까이 주고 살 사람이 있을지.. 가치가 있는지는 의문
많이 안팔리면 생태계라는게 없는게 되버림

[fruitywalk]

본문 읽어봤는데 AR이 BtoB에서 상당한 잠재력이 있는건 맞지만 지금은 그 비용을 투자해서 얻는 효과가 보편적으로 사용될것같지 않고 당장 5년 안에 상용화되고 발전되는 "산업"분야는 지금 홀로렌즈가 꽉잡고있는 분야에 국한될 것 같은데 여기서 애플이 치고 나갈만한 요소가 있는지 (장비 비용이나 Mac 개발 비용이나 다 포함해서) 생각해보면 아주 회의적임. AR은 성장가능성이 있지만 독자운영체제를 가지는 애플만이 가능한 BtoB 서비스가 있는지 모르겠음. 지금을 보나 애플이 보여주는 미래 계획을 보나 그냥 비싼 장난감임.

[머가!]

ㄹㅇ 애플이 생각하는 AR의 B2B에서의 자신의 강점이 대체 뭔지....

[V-DKB]

홀로렌즈 장점 - 헤드셋보다 착용하기 편한 고글형태
홀로렌즈 단점 - VR,XR 불가능

비전프로 장점 - AR,VR,XR 모두 가능
비전프로 단점 - 고글형태 보다 착용이 불편한 헤드셋 형태.

이렇게 장단점이 분명하니 이렇게 말해야죠.
'홀로렌즈는 '산업'분야에 더 실용성이 뛰어나지만 기능은 비전프로보다 열약함
'비전프로는 '산업'분야에 실용성이 떨어지지만 기능은 홀로렌즈 보다 뛰어남

이렇게 장단점이 뚜렷한데 비전프로보다 비싼 홀로렌즈를 말씀 하시면서..
'산업 분야를 꽉 잡고 있다' 라는 장점만 이야기 하시면...?

[갈비_]

마냥 홀로렌즈보다 기능이 좋다 말할수 있긴함? 애플비전이 오피스쪽 B2B론 프레젠테이션처럼 어찌저찌 될거같긴한데, 산업현장에서 애저되고 트림블되는게 홀로렌즈인데 마냥 기능이 애플비전보다 열약한가는 아직 출시도 안됬는데 단정지어 말할수 없다고 보는데

[V-DKB]

AR vs AR,VR,XR 기능 비교 하고 계십니다.

[갈비_]

네 윗분도 AR 측면에 대해서 홀로렌즈2에 비해서 애플비전이 어떠한 강점을 가지고 있는가에 대해서 이야기 하고 계시죠.

[V-DKB]

마냥 홀로렌즈보다 기능이 좋다 말할수 있긴함?
라고 하시길래 말한겁니다.
윗분 이야기는 또 왜요.

[fruitywalk]

제가 ar vr 단어선정을 실수한거 같네요. 제가 말하고 싶은건, 적어도 기사에서 제시한 적용분야에 대해서는 ar vr 구분이 없어요. 님말대로 애플 기기는 훨씬 비싼 가격에 고도화된 기능을 제공하겠지만, (1) 본문 기사에서 말하는 이미 적용된 분야에 한해서는 대량보급이 전제가 되어야 하고, (2) 기사에서 잠재적 시장으로 제시한 교육 공장 사무실 이런곳도 몇 배 금액을 투자해서 고도화된 기능이 필요한지도 의문이고 그래서 제가 비싼 장난감이라고 생각하는거에요. 지금 애플은 덜렁 하드웨어만 내놓고 공간 컴퓨팅을 비싼 장비로 해야할 이유를 제시를 못하고 있죠. 저자 말대로 새로운 발판을 마련할 필요가 있어 보입니다

[V-DKB]

네,

[메모리아노이즈]

이런 제품은 실제로 머리에 써보는게 중요한데 체험회 같은걸 애플이 해줄지

[엣헴엣헴진인환]

아직 VR로 생산성 있는 일을 하기엔 그닥
시작은 창대했지만 끝은 미약하지만 안았으면 좋겠다.

[축신불패]

이제 1세대라 앞으로가 더 기대됍니다

[대한제국군]

일단 애플 비전이 성공하려면 향후 미래에는 거의 스마트폰을 대체할 수 있을 정도로의 크기와 가격 그리고 배터리를 위한 AP의 전성비를 확보해야 함
애플은 비전 OS를 통한 소프트웨어와 자체 AP쪽에서 독자적인 경쟁력을 갖고있고 경쟁사들보다 가격경쟁력을 제외한 모든 부분에서 매우 유리함

향후 7~10년 후에 애플이 공간 컴퓨팅의 어떤 혁명을 일으킬 수 있을지가 기대됨

[겨울뱜]

진짜 대중적인 실용성을 가춰서 판매할려고하면 크기와 무개는 썬그라스나 실험실용 고글 보다 좀 더 큰정도가 아니면 힘들다고 봄...
오클2도 비교적 가벼워졌다고 했지만 2시간? 이상 차고 있기는 부담되는 정도 였는데 실제 작업이나 업무를 한다고 가정한다면 2.3시간정도는 이와같은 착용감의 부담을 많이 느끼지않는 상태가 필요하겠죠.. 지금 처럼 무겁고 눈과 머리를 조이는 착용감으로는 ...게임을 한다고 해도 할까말고 고민되는데.. 이걸 끼고 1시간이상 일을? ㅁ쳤나...하는 생각밖에 안듬..

[수면제감스트]

비전 프로는 아이폰 이후 여러차례 있던 애플의 혁신 중 최고가 아닐까 합니다. 어쩌면 우리네 삶의 방식이 송두리째 바뀔지도요. 애플은 아이폰처럼 세상에 없던 게 아닌, 기존에 있던(예를 들면 에어팟) 시장에 뛰어들 땐 항상 그 표준을 새롭게 정의하곤 하는데요. 비전 프로도 그럴 것 같습니다. 때문에 메타의 수년간 노고가 물거품이 될 가능성이 매우 클테죠. ar/vr 기기의 최소조건(사양부터 해서 넓게는 조작법까지도)들이 새롭게 정해질테고 이런 방식들이 우리 삶에 깊숙히 침투하면서 기존의 것들은 잊혀질 것입니다. 그렇다면 비전 프로가 단숨에 ar/vr 시장을 키울 수 있을까? 라고 물어보실 수 있는데 저는 거기엔 회의적인 편입니다. 스마트폰의 대중화는 아이폰을 베낀 싸구려 안드로이드폰이 있었기에 가능했던 걸 보면 ar/vr의 대중화도 그런 것이 필요할테니까요. 그런데 문제는 비전 프로는 베끼는 난이조조차 너무 높다는 겁니다. 수년내로 유사한 제품이 나올까요? 저는 불가능하다고 봅니다. 그래서 ar/vr 시장은 수년내로는 성장이 어렵고 운이 없다면 애플 전용으로 돈 있는 자들만이 즐길 수 있는 전유물이 될지도 모르는 최악의 시나리오까지 생각해볼 수 있겠습니다.

[빅스톱]

아이폰 -> 스마트폰 시장에 비집고 나온 스마트폰이므로 세상에 있던 것
에어팟 -> 아이폰의 사용자에게만 편리함을 제공할 뿐 무선 이어폰 시장은 에어팟 출시 한참 이전부터 용도에 따라 세분화 되어 있음
메타 -> 비전 프로와 추구하는 방식이 다름. 비전 프로도 메타와 추구하는 방식이 다름. 따라서 표준을 정의하지 못하고, 가격 자체가 일반인의 생활과 표준을 재정의하고자 나온 것도 아님. 키노트에서 비전 프로 소개 영상 한 번만 봤어도 어떻게 그런 의견이 나올 수 있는 지 이해 불가

애플은 회사 창립 이후 지금까지 존재하는 모든 라인업 기기들... 아이팟, 아이폰, 맥북, 아이패드, 에어팟 중 단 한 번도 스스로 시장을 개척하고 선두한 적 없음. 항상 타사가 쌓아놓은 기술과 시장에서 기반으로 자사의 신념과 방향성을 아주 잘 입혀 선두하는 거임.

그러니까 진심으로 그렇게 생각하고 있으면 어떤 문제가 있을 지도 몰라요! 병원 한 번 가보세요! 빨리!

[최애의팬티٩(ŏꇴ ŏ✿)و]

[덥드아]

HMD의 특징인 불편한 착용감의 하드웨어와 메타에 비해 빈약한 소프트웨어. 더불어 감성의 애플이라 패션코디로 활용할 수 있는 스마트폰, 워치, 에어팟, 맥북 등과 다르게 실내에서 활용해야 하는 아이템이라는 게 더욱 큰 약점임.
내가 오퀘2 지금도 가끔 하는데 앞으로 살 거면 그나마 게임 많이 있는 퀘3를 사지 비전프로는 솔직히 별 구매 메리트가 없음.
HMD에서 탈피해서 선글라스 형태로 바뀌면 그때는 비싸도 사겠지만.. 일단 아무리 잘 나와도 HMD는 솔직히 노답임. 오래 쓰면 눈가에 자국도 남고 땀 차서 안 생기는 성인여드름도 나고 머리는 거지꼴이 되는데 이 단점 커버 절대 안 됨.

[가챠하느라밥이없어MK-II]

너무 비싸서 엄두도 안난다-ㅇ-

연봉 1억은 극빈층이라는 샌프란 시스코

IT종사자들이나 구매 가능할듯