[VR] Apple의 Vision Pro 키보드 및 기타 컨트롤 자세히 살펴보기

[라스트리스]

/ 개발자 세션에서는 물리 및 가상 키보드, 음성, 게임 컨트롤러를 지원하는 헤드셋을 사용자의 눈과 손으로 제어하는 방법을 살펴봅니다.

Apple 개발자 세션에서는 공중에서 타이핑할 수 있는 가상 키보드를 포함하여 사용자가 새로운 Vision Pro 헤드셋을 제어할 수 있는 다양한 방법을 심도 있게 살펴볼 수 있는 시간을 가졌습니다. "공간 입력을 위한 디자인" 세션에서는 Apple의 디자인 팀원 두 명이 예비 개발자에게 새로운 플랫폼용 앱을 디자인하는 모범 사례를 안내합니다.

Apple은 사용자가 주로 UI 요소를 보고 무릎에 팔을 편 채로 작은 손동작을 취하는 방식으로 헤드셋과 상호 작용하기를 원합니다. 하지만 개발자 세션에서 Apple 디자이너 이스라엘 파스트라나 비센테는 "일부 작업은 직접 손을 뻗어 UI 요소를 터치하는 것이 더 적합하다"고 인정했습니다(Apple은 이 기능을 '직접 터치'라고 부릅니다). 물리적 키보드와 트랙패드 또는 게임 컨트롤러 사용도 지원됩니다.

"일부 작업은 직접 상호 작용하는 것이 더 적합합니다."

이제 Vision Pro의 가상 키보드에 대해 이야기해 보겠습니다. Apple 디자이너 유진 크리보루치코는 주변기기를 터치할 때 발생하는 '누락된 촉각 정보'를 보완하기 위해 사용 중에 시각적 및 청각적 피드백을 충분히 제공하는 것이 중요하다고 설명합니다. "손가락이 키보드 위에 있는 동안 버튼은 호버 상태로 표시되고 버튼 표면에 가까워질수록 더 밝아지는 하이라이트가 표시됩니다."라고 크리보루치코는 설명합니다. "이는 근접 신호를 제공하고 손가락을 타겟으로 안내하는 데 도움이 됩니다. 접촉하는 순간 상태 변경이 빠르고 반응성이 뛰어나며 그에 맞는 공간 음향 효과도 함께 제공됩니다."

메타는 최근 퀘스트 VR 사용자가 메뉴 버튼이나 가상 키보드를 터치할 수 있는 다이렉트 터치라고도 하는 유사한 실험적 기능도 출시했습니다. 하지만 업로드VR은 깊이 센서 덕분에 적어도 올해 말 깊이 센서가 장착된 퀘스트 3가 출시될 때까지는 애플의 비전 프로가 메타보다 더 정확할 것이라고 말합니다.

또한 음성 입력도 지원되며, 같은 개발자 세션에서 검색 필드의 마이크 아이콘에 시선을 집중하면 '검색에 말하기' 기능이 작동한다고 언급했습니다. 이 기능은 Vision Pro에 내장된 6개의 마이크에서 오디오 데이터를 가져올 가능성이 높습니다.

직접 터치를 사용하여 다른 시스템 요소와 상호 작용할 수도 있습니다. 터치스크린과 상호 작용하는 것처럼 탭하고 스크롤할 수 있으며, 한 Apple 데모에서는 착용자가 공중에 펜을 움직여 단어를 쓰고 마크업에서 하트 모양을 그리는 모습을 보여줍니다. 크리보루치코는 주요 상호작용은 사용자의 손을 통해 이루어지지만, 시선 추적을 사용하여 제스처를 보강하는 방법도 설명합니다. "마우스 포인터처럼 손으로 브러시 커서를 제어하지만 캔버스의 반대쪽을 바라보고 탭하면 커서가 사용자가 보고 있는 바로 그곳으로 이동합니다. 이렇게 하면 정확도가 높아지고 큰 캔버스를 빠르게 커버할 수 있습니다."라고 디자이너는 말합니다.

Apple의 값비싼 새 Vision Pro 헤드셋이 실제로 어떻게 작동할지(특히 다른 제조업체의 모션 컨트롤러와 페어링할 수 있는지) 아직 궁금한 점이 많지만, 직접 체험하고 이와 같은 개발자 세션을 통해 그 실체가 조금씩 드러나기 시작했습니다.

원본출처 | https://www.theverge.com/2023/6/8/23753618/apple-vision-pro-virtual-keyboard-controls-wwdc-2023

[중복엔 닭이지]

이런 분석 기사 좋습니다

[damnedone]

글 쓰는거는 글자수가 많은 경우가 아니면 음성 입력으로 많이 할듯...

[돼지 저금통]

2~3세대쯤 되면 별도 컨트롤러도 나오지 않을까 싶음

컨트롤러 없는게 편할때도 있지만 물리적인 감촉이랑 더 편할때도 있어서...

[팩🧭트]

우선 그것보다 공중에 팔을 들고 있어야 한다는게 크죠
가장 편한건 아무래도 팔을 자연스럽게 내려놓고 작업하는거라

[루리웹-7409345128]

ar상태면 오히려 팔을 들고 컨트롤해야 할일이 많을수있으니까...
무조건 컨트롤러 있는게 편하다고 볼순없죠

[팩🧭트]

무조건이라고 말한적은 없습니다. 발표영상인가 그거 보고 오피스 공간에서 주 용도 쓰게 될 수 있다고 굳게 믿는 분이 있어서 한 말이었어요. 당연히 간간히 필요에 따라 사용하는건 제스쳐가 좋을 수 있죠. 갖고 있는 퀘2에서도 제스쳐 가끔 쓰지만 아무래도 전용 인식장치가 있는 제품이 더 부드럽겠지만 얼마나 좋을지는 직접 써봐야 알겠네요

[클라리온]

핸드폰 거의 터치로쓰지만 필요에따라 펜슬 사용하는 느낌이겠죠. 다만 맨손이 주조작 될게 당연합니다

[월아산숲속의팬티٩(ŏꇴ ŏ✿)]

책상에다 가상 키보드 펼쳐놓고 책상 두드리는 건 안될까요?

[루리웹-6942285846]

감각이 없어서 안보고 치면 다 틀리고요...
보고 쳐야함.
차라리 블루투스 연동해서 실물 키보드 치는게 작업 능률상 100배 좋음

[Kerty]

한 15년전쯤에 대충 이런거 써봤는데 인식률도 인식률이지만 애도 손목이 상당히 아픕니다.
괜히 키보드들이 위쪽으로 올라가게 설게된게 아닙니다.

[루리웹-4963726889]

키넥트를 보면 공중에서 입력하는게 사람들이 얼마나 안 좋아하는지 데이터로 보여줌

[루리웹-6942285846]

솔직히 해보면 알겠지만.
허공에다가 키보드 치는거나 손으로 장시간 흔드는게 얼마나 힘들지 알게될거임.
결국 저런건 단순 제스쳐정도는 가능해도. 업무적으로 장시간 하는건 절대 불가능함.

[에어컨조아]

눌렀을 때의 피드백이 없으니 책상 두드리는 것도 오타율이 엄청 높고 불편함 ㅋㅋㅋ

[문산ET]

진짜. 퀘스트2에서도 생각보다 잘 인식해서 써보려고 했으나
컨트롤러로 까딱까닥 하는게 훨씬 좋다는걸 체감 함. AR 기반 앱들에서는 조금 다를 수 있겠지만

[2519181]

에어마우스.......

손을 어디에 올려놓고 쓰는게 가장 편하다는 기본적인 사실을 왜 까먹고 난 돈낭비를 한걸까...

[루리웹-0077563083]

뭘하길래 장시간 손을흔든다는건지....

[잔무영]

작업용 공간컴퓨터로 손을 안쓰고 작업을 한다고요?

[루리웹-1563442199]

키보드 마우스 돠는데 뭐가 문제죠

[루리웹-4099996800]

여태 제스처로 뭘 컨트롤해서 편하거나 원하는대로 잘 쓸 수 있었던적이 없었는데 과연..

[루리웹-7409345128]

저 영상대로만 작동한다면 혁신급이겠네요......

그러길빕니다

[지구4인간]

실제 체험하신분들 말로는 저거랑 똑같다고 하더라구요

[루리웹-9308200273]

피드백이 없으면 상호작용이라는게 은근히 힘들어서 애플에서 말하는 공간컴퓨팅을 저런 방식으로 오래하기 어려울것 같음. 오히려 영상보거나 게임할때, 3d 아트할때는 엄청 좋을듯.

[기끟이]

https://youtu.be/TckqNdrdbgk
이걸 손으로 하는 날이 오는거죠 ㄷㄷㄷ

[초코송이맛있다]

체험한 사람이 이야기 했는데 팔아프다고 했음 ㅋㅋㅋ

[zo로든]

[칼밥]

혐짤 신고

[공감은 지능이다]

차단

[세린홀릭]

저런거 잘되는지 모르겠음 당장 아이패드만해도 타자치기 불편해서 물리키보드 연결하는데

[다세포됨]

이게 얼마나 잘 작동될지 그게 가장 궁금함

[용무만간단히]

물리 키보드 지원이 안되는 것도 아니니 그러려니 하는 편... 개인적으로는 키보드만큼은 실물이 좋다고 생각함. 예전부터 홀로그램 방식인지 뭔지 빛으로 쏴줘서 테이블에 버튼 화면 띄워준다는 것도 별로였음

[잔무영]

이게 문제라는거.
공간의 제약을 벗어나야 하는데 키보드라는 공간에 제약이되면 반쪽짜리죠.

[코기댕댕]

근데 웨어러블 기기에서 음성인식 제외하고, 문자나 명령어 직접 입력할 수단이 키보드 밖에 없지 않나? 아니면 전뇌 때려박는 수밖에

[Cellsus]

뇌파로 타이핑하는건 이미 연구중임

[castitatis]

사실 책상 앞에서 쓴다고 치면 허공보다 책상 표면에 가상 키보드를 띄우는 식으로 가는게 추가 장비 없이 사용한다 칠때 그나마 괜찮은 조작이 되지않을까 싶음

[잔무영]

사람들이 레이져 키보드를 많이 안쓰는거 보면 답은 나와있죠.

[castitatis]

안쓰는건 아는데 '추가 장비 없이'라는 조건하에서요. 최적은 물리키보드죠

[빛]

그냥 지금 책상앞에서 허공에 타이핑 한다고 생각해보면 잠깐은 모를까 일할때는 힘들겠네요 ㅎㅎ

[펜서야 우리말고저쪽쏴야지]

키보드는 피드백이 없어서 애매하지만 제스쳐는 허공에다 흔드는게 아니라 무릎위에 올려두고도 할수있는데 팔아프다는 소리가 왜 나와

[루리웹-6594513403]

저건 그냥 저런것도 가능하다 정도지 베댓도 말하듯이 저걸로 절대로 작업 못함 아니 작업은 커녕 뭐 하나 검색할때 쓰는것도 불편할듯.. 키보드는 블투 키보드 될테니까 그거 쓰면되고, 쓰는건 제대로 쓰려면 결국엔 평평한 곳에 대고 써야되니까 크게 의미는 없을듯 그림은 당연히 못그리고. 다른 식의 활용은 가능할지도.

[희동구86]

[야쿠루트세븐]

가지고는 싶은데 장난감으로 사기에는 비싸도 너무 비싸다. 첫세대라 좀 꺼려는것도 있고.. 잘팔리다고 애플이 가격을 내리지도 않을것 같고.

[ps&cube]

그냥 실제 물리 키보드 마우스 다 되니 그걸로 일하면됩니다 뭐 저걸로 일할거라고 생각하는건 개 무리입니다.

[3D]

손가락에 쥐나겠다

[젠장알]

어차피 음성인식으로 타자 쳐짐

[루리웹-4505847390]

업무하는동안 계속 음성으로 타자 친다고 생각해보면...
얼마나 비효율인지 알텐데

[케프]

애플이 보여준건데
보통 아는 VR 게임이랑은 거리가 멀고
전용 게임이 나오는걸 기다려야...

[펜서야 우리말고저쪽쏴야지]

게임용 아님

[fly0001]

업무 비즈니스라고 하는데 저걸 쓰고 누가 비즈니스 업무를 하겠음...
메타 퀘스트 프로도 마찬가지고...
그냥 아직은 모양상 vr 즐기는데 더 중점이 되어야 할꺼 같은데...
나중에 진짜 글래스류 정도로 작아지고 일상생화에 지장이 없을 정도가 되어야...

[비사라]

애플비전 없어도 지금당장 어떤지 알수있습니다
허공에다가 키보드 쳐보세요

[티스토]

스마트폰 화면에 뜨는 패드 입력도 싫어하는데….

[루리웹-4505847390]

아무리 업무성을 강조하지만 그 분야 키보드 +마우스는 편의성 넘사벽이라....

[후타바_안즈]

기계식 키보드들이 아직도 인기 있는 이유가 있는데....

모양이라도 인체 공학적으로 해주지
손목,팔목 아작 나겠다

[날비,]

터치키보드가 왜 쥐도새도 모르게 시장에서 사라진거 생각해보면 ㅋㅋㅋ...

[파인애플아미]

애플의 아이패드 터치키보드의 가장 큰 ㅂㅅ력은
이걸 풀사이즈 키보드라도 우기면서
10손가락 타이핑 컨셉으로 밀고 있다는 거죠.

하지만 아이패드를 써보시는 분들은 잘 알겠지만
아애패드 터치키보드 역시 스마트폰처럼
파지한채로 엄지타이핑하는게 훨씬 빠르고 정확하고 편합니다.

전 괜히 어설프게 물리 키보드를 흉내내기보단
오타율을 줄일 수 있게 가상 키보드 크기를 사용자 마음대로 늘려서
독수리 타법으로 치게 하는게 훨 낫다 봅니다.

[Jayse_Ryu]

햅틱 장갑 같은거라도 만들어서 어느정도 피드백을 보장해줘야 더 좋을 것 같긴 한데 VR을 잘 쓰고 있는 입장에서 생각과 실사용이 다른점이 꽤 많아서 한번 써보고 싶네요

[클라리온]

햅틱 장갑까진 필요없고 검지 끝에 햅틱 반지, 햅틱 골무면 충분히가능할듯, 진동만 상황에 맞게 주면 됨

[루리웹-2968821705]

비전프로는 프로라인이고 일반인들이 대상이 아니라고 그분들은 우기지만 정작 생산성은 개나줘버린 상황
핸드트래킹 아이트래킹 백날 해봤자 모니터에 만원짜리 키보드 마우스 작업성 못 따라가고 그게 불편해서 키마를 사용하는 순간 애플이 얘기하는 공간컴퓨팅은 개소리가 되어버림

[케르발]

아이디 패스워드 쓰는데 저정도면 충분

[제이C]

저정도면 훌륭할거 같은데...
물론 물리키보드 대체는 불가능이지만
저거 허공이 아닌 그냥 책상위나 허벅지위나 아무대서나 손으로 칠수 있다면 대박일듯.

[포케카포커]

센서정확도는 훌륭할거라고 생각함 근데 암만그래도 걍 컨트롤러 쓰는게 더 편함 심지어 더 쌈

[異邦人]

https://youtu.be/wW93SnuQGuk

홀로그램 키보드 나온지는 거의 20년정도 되지.

[루리웹-3231308812]

ㅋㅋㅋ 퀘스트는 컨트롤러 들고 쓰는데
이건 불만이고 그건 괜찮나보네 ㅋㅋㅋ

[kumuku]

퀘스트에도 핸드 트레킹 있는데 물리 피드백이 없는 입력 체계라는게 생각이상으로 불편하고 구린 시스탬입니다
허공에 손짓하면서 키보드 입력해보려고 노력해 보면 압니다 구려요.
다시 말하지만 퀘스트는 이미 핸드트레킹 입력시스템이 있는데 그게 불편해서 사람들이 안쓰는거고
애플 비전 프로는 저런 아무런 피드백이 없는 입력체계만 있는점이 차이점입니다.

[잿빛 늑대]

퀘스트 프로에서 이미 핸드 트래킹 선보였지만 게임에는 피드백이 있고 미세한 조작이 가능한 컨트롤러가 유리해서 포함했습니다. 인터뷰 내용도 있죠. 폰에 버튼도 터치로 작동하지만 피드백이 있는 게 좋아서 햅틱을 넣는데 피드백 없는 허공에 손짓이 좋다곤 못하죠.

[햇살 따스한]

아무리 해상도 높아봤자 이걸로 그정도 해상도 따라올 고사양 vr 하려면 최소 3080 이상 달린 윈도우 pc에 연결하게 해줘야 하는데 애플이 과연 그걸 해줄까?? 즐길 수 있는거 영상 콘텐츠밖에 없을 거 같음

[미역메소]

내가 상상력이 달려서 그런가,
컨텐츠 소비하는거 말고 생산성 작업에 저거 이용하는거 엄두가 안나네

[루리웹-6942285846]

애플도 진짜 생산성 기기라고 생각하지는 않을거임.
아직 편의나 기술적으로 무리임.
애플이 생산성을 강조한 이유는 딱히 저기들도 아직 답을 찾지 못한 상태인데
뭐 할말이 없으니 그럴듯한 말을 붙였다고 생각함.
지금기술로는 컨텐츠 소비용도가 적당

[루리웹-9888367597]

지금은 팔았지만 퀘스트2쓸때 컨트롤러로 글자하나씩 입력해서 유튜브검색했었는데요
저방식이 키보드보단 불편해도 없는것보단 훨씬 편할듯..

[Ladiaram]

오큘러스도 저런 게 있는데, 힘들어유 .

[wokerfun]

저건 하나의 옵션일 뿐입니다.
업부를 볼 때는 블루투스로 연결된 키보드, 마우스, 트랙패드, 타블랫으로 작업하겠죠.

[잔무영]

그럴거면 뭐하러 mr기기를 쓰나요.
그냥 모니터쓰지.

[empty_0711]

저건 물리 키보드, 트랙패드가 없을 때 임시방편용으로 가상키보드를 제공해주는거 아님? 저걸 메인으로 쓰는게 아니라...

윈도우에도 키보드 없을 때 임시방편으로 가상키보드 제공해주는거랑 똑같은거임. 즉, 없는것보단 있는게 낫다는 얘기임.

[empty_0711]

평상시에 사용할 때는 타이핑하거나 마우스(트랙패드) 쓸 때는 블루투스로 비전프로랑 연동해서 쓰는거고..
그게 없거나 급하게 써야될땐 임시방편용으로 저렇게 가상키보드 제공해주는거고...