[VR] 애플 비전프로의 특허 중 하나는 사용자가 무엇을 클릭할 지 예측하는 기술

[라스트리스]

비전프로 개발에 참여한 개발자 중 하나인 Sterling Crispin의 트윗입니다

----------------------------

저는 Apple에서 기술 개발 그룹의 신경 기술 프로토타이핑 연구원으로 근무하는 동안 제 인생의 10%를 #VisionPro 개발에 기여하는 데 보냈습니다. 제가 지금까지 한 가지 일에 가장 오래 매달린 기간입니다. 드디어 발표하게 되어 뿌듯하고 안심이 됩니다. 저는 10년 동안 AR과 VR을 연구해왔는데, 여러모로 이 제품은 전체 산업이 하나의 제품으로 집약된 정점이라고 할 수 있습니다. 이 제품이 현실화되는 데 일조한 것에 감사하며, 이 분야에 진출하거나 전략을 다듬고 싶으시다면 언제든지 컨설팅과 상담을 요청할 수 있습니다.

제가 수행한 작업은 Vision Pro, 마음챙김 경험, ▇▇▇▇▇▇ 제품, 그리고 신경 기술을 이용한 더 야심찬 문샷 연구의 기초 개발을 지원했습니다. 예를 들어, 사용자가 무언가를 클릭하기 전에 클릭할 것을 예측하는 것, 기본적으로 마인드 리딩과 같은 것이죠. 저는 3년 반 동안 근무하고 2021년 말에 떠났기 때문에 지난 2년 동안 모든 것이 어떻게 통합되었는지 경험하게 되어 기쁩니다. 앞으로 어떤 작품이 선정되고 어떤 작품이 출시될지 정말 궁금합니다.

특히 비전 프로를 위한 ▇▇▇▇▇▇ 프로그램의 초기 비전, 전략 및 방향에 기여한 것이 자랑스럽습니다. 소규모 팀에서 수행한 작업은 해당 제품 카테고리에 청신호가 켜지는 데 도움이 되었으며, 언젠가는 전 세계적으로 큰 영향을 미칠 수 있다고 생각합니다.

제가 Apple에서 수행한 대부분의 작업은 비밀유지협약에 따라 다양한 주제와 접근 방식에 걸쳐 진행되었습니다. 하지만 특허를 통해 몇 가지가 공개되었는데, 아래에서 인용하고 의역할 수 있습니다.

전반적으로 제가 했던 많은 작업은 몰입형 경험을 할 때 사용자의 신체와 뇌에서 얻은 데이터를 기반으로 사용자의 정신 상태를 감지하는 것이었습니다.

즉, 사용자가 혼합 현실 또는 가상 현실을 경험하고 있을 때 AI 모델은 사용자가 호기심을 느끼는지, 마음이 방황하는지, 무서워하는지, 주의를 기울이고 있는지, 과거 경험을 기억하고 있는지 또는 다른 인지 상태를 예측하려고 합니다. 시선 추적, 뇌의 전기 활동, 심장 박동 및 리듬, 근육 활동, 뇌의 혈밀도, 혈압, 피부 전도도 등과 같은 측정을 통해 이러한 상태를 유추할 수 있습니다.

구체적인 예측을 가능하게 하기 위해 많은 트릭이 사용되었는데, 제가 언급한 몇 가지 특허에 자세히 설명되어 있습니다. 가장 멋진 결과 중 하나는 사용자가 실제로 무언가를 클릭하기 전에 클릭할 것을 예측하는 것이었습니다. 정말 많은 노력을 기울인 결과이며 자랑스럽게 생각합니다. 사용자가 클릭하기 전에 동공이 반응하는 것은 사용자가 클릭한 후에 어떤 일이 일어날 것으로 예상하기 때문입니다. 따라서 사용자의 눈동자 행동을 모니터링하고 실시간으로 UI를 재설계하여 이러한 예상 동공 반응을 더 많이 생성함으로써 사용자의 뇌로 바이오 피드백을 생성할 수 있습니다. 눈을 통한 조잡한 두뇌 컴퓨터 인터페이스이지만 매우 멋집니다. 저는 침습적인 뇌 수술보다 이 방법을 택할 것입니다.

인지 상태를 추론하는 다른 방법으로는 사용자가 인지하지 못할 수 있는 방식으로 시각적 이미지나 소리를 빠르게 보여준 다음 그에 대한 반응을 측정하는 방법이 있습니다.

또 다른 특허는 머신 러닝과 신체 및 뇌의 신호를 사용하여 사용자가 얼마나 집중하고 있는지, 얼마나 긴장을 풀었는지, 얼마나 잘 학습하고 있는지 예측하는 방법에 대해 자세히 설명합니다. 그런 다음 가상 환경을 업데이트하여 이러한 상태를 개선합니다. 따라서 백그라운드에서 보고 듣는 것을 변경하여 학습, 작업, 휴식을 돕는 적응형 몰입 환경을 상상해 보세요.

이러한 모든 세부 사항은 특허를 통해 공개되어 있으며, 유출되지 않도록 신중하게 작성되었습니다. 그 외에도 제가 관여한 많은 것들이 있으며, 언젠가는 더 많은 것들이 빛을 볼 수 있기를 바랍니다.

많은 사람들이 이 제품을 오랫동안 기다렸습니다. 하지만 아직 VR로 가는 길에서 한 걸음 나아간 것에 불과합니다. 그리고 업계가 이 기술에 대한 원대한 비전을 완전히 따라잡으려면 10년이 끝날 때까지는 시간이 걸릴 것입니다.

다시 한 번 말씀드리지만, 저는 이 분야에 진출하거나 전략을 다듬고 싶은 기업이 있다면 언제든지 컨설팅을 해드리고 전화를 받을 준비가 되어 있습니다. 무엇보다도 저는 이 비전이 마침내 발표되어 자랑스럽고 안심이 됩니다. 이 작업을 시작한 지 5년이 넘었고, 다른 디자이너와 엔지니어들과 마찬가지로 제 인생의 상당 부분을 이 작업에 투자했습니다. 전체가 부분의 합보다 더 크고 Vision Pro가 여러분의 마음을 놀라게 하길 바랍니다.

출처 : https://twitter.com/sterlingcrispin/status/1665792422914453506

[데드몽키]

아이언맨 가즈아

[애미야틀니가짜다]

ㅅㅂ ㅈㄴ 비쌈

[커피브레이커]

응 필요없는 기술.

[루리웹-2861886917]

무게가 450g-500g 라함

[루리웹-2861886917]

월스트리트저널(WSJ)의 조안나 스턴 테크 칼럼니스트는 비전 프로를 사용한 뒤 "코와 이마에 기기 무게가 느껴졌고, 약간 메스꺼웠다"고 전했다. 와이어드(Wired)의 로렌 구드 테크 담당 기자는 "가상환경 몰입도를 조정할 수 있다는 점이 매우 좋았다"면서도 "외부 배터리팩이 무거운 느낌을 받았고 헤드셋을 벗었을 때 안도의 한숨을 내쉬었다"고 덧붙였다.