Oculus Quest (오리지널 모델과 두 번째 모델(second model) 모두)에는 하드웨어가 출시 된 지 오래 된 후 기능이 추가된 흥미로운 역사가 있습니다. 이들 중 가장 유명한 것은 Oculus Link 로 (Oculus Link)Quest 를 Oculus Rift 로 효과적으로 전환합니다 . 이 기능은 매우 성공적이어서 Oculus 는 (Oculus)Quest 를 제외한 모든 헤드셋을 중단하기로 결정했습니다 .
핸드(Hand) 트래킹은 Oculus Link 가 한 것처럼 많은 관심 을 끌지는 못했지만 여전히 많은 잠재력을 지닌 놀라운 기능입니다. 수동 추적을 사용하면 컨트롤러가 전혀 필요하지 않습니다. 당신의 손이 VR 세계로 디지털화됩니다!
퀘스트(Quest) 가 있거나 구매를 고려 중인 경우 핸드 트래킹이 작동하는 방식과 VR 경험에 가져올 수 있는 것을 아는 것이 좋습니다.
퀘스트가 세계를 추적하는 방법
Oculus Quest 는 일반적으로 "인사이드-아웃" 추적이라고 하는 모션 추적에 대한 혁신적인 접근 방식을 사용합니다. 이는 과거에 동작 추적이 작동했던 방식과 매우 다릅니다 .
2010년대 중반에 최초의 차세대 헤드셋이 출시되었을 때 하나 이상의 외부 추적 카메라를 사용했습니다. 헤드셋의 특수 동작 추적 표시등이 헤드셋과 관련된 정확한 위치를 카메라에 알려줍니다. 약간의 영리한 수학을 사용하면 해당 데이터를 3D 공간에서 매우 정확한 모션 추적으로 변환할 수 있습니다. 이것이 프리미엄 VR 헤드셋이 6DoF라고도 하는 "6자유도"를 제공하는 방법입니다.
Quest 는 카메라 센서를 헤드셋 자체로 이동합니다. 이 경우에는 장치의 전략적 위치에 배치합니다. 다른 헤드셋은 정확도를 높이기 위해 더 많은 카메라를 사용할 수 있습니다. 이 4개의 카메라를 통해 Quest 는 주변의 실제 세계를 보고 해당 공간 내에서 사용자의 위치를 결정할 수 있습니다.
이것이 Quest 가 독립적이고 휴대가 가능하도록 하는 것입니다. 애초에 오큘러스(Oculus) 로 핸드트래킹이 가능한 기능이기도 하구요..
표준 Oculus 터치(Standard Oculus Touch Controllers) 컨트롤러
Oculus 손 추적이 인상적인 이유를 이해하려면 Oculus Quest 와 함께 제공되는 다소 평범한 물리적 컨트롤러부터 시작해야 합니다 . 각각은 컨트롤러가 헤드셋과 관련된 위치를 Quest의 온보드 카메라에 알려주는 내부 센서와 특수 모션 추적 마커에 의해 완전히 모션 추적됩니다.
VR에서 터치 컨트롤러를 잡고 있으면 놀라운 정확도로 추적됩니다. 컨트롤러의 그립 및 트리거 버튼을 사용하여 VR 소프트웨어는 항목을 잡고 조작하는 확실한 경험을 만들 수 있습니다. 이것은 Half-Life Alyx 및 The Climb 와 같은 게임에서 큰 효과를 얻기 위해 사용됩니다 .
터치 컨트롤러(Touch Controllers) 는 또한 "선형 액추에이터"라는 장치 덕분에 햅틱 피드백을 제공합니다 . 이 장치는 사물, 진동 및 기타 터치 감각에 부딪히는 물리적 느낌을 생성할 수 있습니다. 썸스틱과 버튼은 실제 공간에서 물리적으로 이동할 수 없을 때 VR 공간을 이동할 수 있는 친숙한 방법을 제공합니다.
손 추적에 비해 이것의 주요 단점은 손에 후크가 있다는 것입니다. 가상 손으로 간단한 집기 동작을 수행할 수 있지만 그 정도입니다. 게임이 컨트롤러를 중심으로 설계될 때 큰 제한으로 느껴지지 않지만 손 추적은 VR에서 새로운 가능성의 스펙트럼을 엽니다.
Oculus 핸드 트래킹의 기능
손 추적이 활성화되면 VR 세계 내에서 실제 손의 정확한 표현을 볼 수 있습니다. 손가락이나 손목의 각 움직임은 가상 도플갱어에 반영됩니다.
손 추적(Hand Tracking) 은 더 이상 Quest 의 베타 기능이 아닙니다 . 이제 운영 체제 및 많은 자사 Quest 애플리케이션에 통합되었습니다. 첫 번째 주요 이점은 빠르게 Quest 를 착용 하고 VR로 영화를 보거나 앱 스토어를 탐색하려는 경우 터치 컨트롤러에 끈을 묶을 필요가 없다는 것입니다. 손만 사용하여 시스템 메뉴에 액세스하고 쉽게 탐색할 수 있습니다.
이제 손 추적은 Quest 의 공식 기능이므로 타사 앱 개발자는 이를 앱에 추가할 수 있습니다. Oculus 손 추적 기능 을 훌륭하게 활용하는 앱이 이미 많이 있지만 개발자는 직접 손 추적이 VR 경험을 변화시킬 수 있는 더 많은 흥미로운 방법을 찾을 것이라고 확신합니다.
Oculus 손 추적 작동 방식
수동 추적의 결과는 꽤 놀랍지만 실제로 어떻게 작동합니까? 분명히 Oculus 는 독점 솔루션에 대한 정확한 세부 정보를 공개하지 않을 것이지만 관련 기술과 원칙은 알고 있습니다.
첫째, 온보드 카메라는 손 추적 작업에 필수적입니다. 입체 깊이 정보를 제공할 뿐만 아니라 머신 비전으로 처리할 수 있는 시각적 데이터도 제공합니다. 머신비전이란? 그것은 인공 지능(artificial intelligence) 의 한 분야이며, 특히 기계 학습으로 알려진 분야입니다. 휴대폰의 카메라 앱이 사진에서 얼굴을 빠르게 식별할 수 있도록 하는 것과 동일한 기술입니다.
기본적으로 소프트웨어는 카메라가 제공하는 이미지 데이터에서 무엇이 손이고 무엇이 손이 아닌지 학습해야 합니다. 이것은 아마도 소프트웨어가 방의 다른 모든 것과 구별하는 빠르고 효과적인 방법을 안정적으로 파악할 수 있을 때까지 서로 다른 환경에서 수천 명의 손을 보여줌으로써 수행되었을 것입니다.
소프트웨어가 손의 정확한 실시간 가상 모델을 생성할 수 있게 되면 앱 개발자는 생각할 수 있는 모든 작업에 이를 사용할 수 있습니다. 이제 VR에서 개체를 정확하게 조작할 수 있습니다!
시도해 볼 가치가 있는 손으로 추적한 경험
Oculus Quest 를 소유하고 있다면 특정 앱을 구입하지 않고도 Oculus 손 추적 기능을 사용해 볼 수 있습니다. 위에서 언급했듯이 기본 Quest 환경과 몇 가지 자사 앱에서 작동합니다. 타사 경험과 관련하여 몇 가지 강조할 가치가 있습니다.
Line(The Line) 은 손 추적을 위한 완벽한 기술 데모 역할을 하는 $4.99 내러티브 경험입니다. 그것은 시계 장치와 궤도로 달리는 축소 모형 도시의 이야기를 전합니다.
우리의 영웅 Pedro 는 Rosa 를 사랑 하지만 그는 그의 운명을 피할 수 없습니다. 언젠가 새로운 일이 일어날 때까지. 손을 사용하여 손잡이를 돌리고 레버를 당기고 할 수 있는 모든 것을 만듦으로써 스케일 모델 세계와 상호 작용합니다. 선형적이고 짧은 경험이지만 약 15분 만에 매우 재미있는 방식으로 손 추적을 보여줄 수 있습니다.
마법사의 왈츠(Waltz of the Wizard) ($9.99)는 이 기술의 또 다른 훌륭한 쇼케이스입니다. 손을 사용하여 주문을 시전하고 주변 VR 세계의 거의 모든 것과 상호 작용할 수 있습니다. 손에서 번개를 발사할 수 있는 마법사가 되는 환상을 현실로 만들고 싶었다면 이 게임이 바로 당신을 위한 게임입니다!
Quest 에서 손 추적에 대해 어떻게 생각하세요 ? 당신은 그것을 시도 했습니까? 어떤 게임을 추천하시겠습니까? 의견에서 통찰력을 공유 하십시오.(Share)
How Oculus Quest Hand Tracking Technology Works
The Oculus Quest (both the original and second model) have an interesting history of features being added long after the hardware is out in the wild. The most famous of these is Oculus Link, which effectively turns the Quest into an Oculus Rift. This feature was so successful that Oculus decided to discontinue all their headsets but the Quest.
Hand tracking hasn’t made quite the splash Oculus Link did, but it’s still an amazing feature with lots of potential. With hand-tracking you don’t need controllers at all. Your own hands are digitized into the VR world!
If you have a Quest or are thinking of buying one, it’s worth knowing how hand tracking works and what it can bring to the VR experience.
How Quest Tracks the World
The Oculus Quest uses an innovative approach towards motion tracking that’s commonly referred to as “inside-out” tracking, which is very different from how motion tracking worked in the past.
When the first next-generation headsets were released in the mid-2010s, they made use of one or more external tracking cameras. Special motion tracking lights on the headset told the camera exactly where the headset was in relation to it. With some clever math, that data could then be converted to very accurate motion tracking in 3D space. This is how premium VR headsets offer “six degrees of freedom”, also known as 6DoF.
Quest moves the camera sensor onto the headset itself, in this case placing them in strategic spots on the device. Other headsets may use even more cameras to improve accuracy. These four cameras let the Quest look at the real world around you and determine what your position is within that space.
That’s what allows the Quest to be self-contained and portable. It’s also the feature that allows for hand-tracking with the Oculus to be possible in the first place..
The Standard Oculus Touch Controllers
To understand what makes Oculus hand tracking so impressive, we have to start with the rather mundane physical controllers that come with the Oculus Quest. Each one is fully motion-tracked by internal sensors and special motion tracking markers that tell the Quest’s onboard cameras where the controllers are relative to the headset.
When you’re holding the touch controllers in VR, they’re tracked with uncanny accuracy. Using the grip and trigger buttons on the controller, VR software can create a convincing experience of grabbing and manipulating items. This is used to great effect in games such as Half-Life Alyx and The Climb, where gripping items in the VR world is a central part of gameplay.
The Touch Controllers also offer haptic feedback thanks to devices called “linear actuators”, which can create physical feelings of bumping into things, vibration and other touch sensations. Thumbsticks and buttons also offer a familiar way to move around a VR space when you can’t physically move about in your real space.
The main disadvantage of this compared to hand-tracking is that you have hooks for hands. You can perform simple pinching movements with your virtual hands, but that’s the extent of it. It doesn’t feel like a major limitation when games are designed around the controllers, but hand tracking opens a spectrum of new possibilities in VR.
What Oculus Hand-Tracking Does
When hand tracking is enabled, you’ll see an accurate representation of your real hands within the VR world. Each movement of your fingers or wrist will be reflected in their virtual doppelgangers.
Hand Tracking is no longer a beta feature of Quest. It’s now integrated into the operating system and many first party Quest applications. The first major benefit here is that if you just quickly want to put on your Quest and watch a movie in VR or browse around the app store, you don’t have to go through the effort of strapping on the touch controllers. Using just your hands, you can access system menus and navigate around with ease.
Now that hand-tracking is an official feature of Quest, third-party app developers can add it to their apps. There are already a number of apps that make excellent use of the Oculus hand-tracking feature, but we’re sure developers will find many more exciting ways in which direct hand-tracking can transform the VR experience
How Oculus Hand-tracking Works
The results of hand-tracking are pretty amazing, but how does it actually work? Obviously Oculus isn’t going to publish the exact details of their proprietary solution, but we do know the technologies and principles involved.
First, the on-board cameras are essential to making hand-tracking work. Not only do they provide stereoscopic depth information, but also visual data for processing by machine vision. What’s machine vision? It’s a branch of artificial intelligence, specifically a field known as machine learning. It’s the same technology that lets your phone’s camera app quickly identify faces in a photo.
Essentially, the software has to learn what in the image data provided by the camera is a hand and what isn’t a hand. This was probably done by showing the software thousands and thousands of hands in different environments until it could reliably figure out a fast and effective way of telling them apart from everything else in your room.
Once the software can create accurate, real-time virtual models of your hands, app developers can use them for anything they can think of. You can now precisely manipulate objects in VR!
Hand-tracked Experiences Worth Trying
If you own an Oculus Quest you can try out the Oculus hand-tracking feature without having to buy any particular app. As mentioned above, it works in the main Quest environment as well as a few first-party apps. When it comes to 3rd-party experiences, there are a few worth highlighting.
The Line is a $4.99 narrative experience that also serves as a perfect tech-demo for hand tracking. It tells the tale of a scale model town that runs on clockwork and tracks.
Our hero Pedro is in love with Rosa, but he can’t escape his fate. Until something new happens one day. You interact with their scale model world by using your hand to turn knobs, pull levers and fiddle with everything that you can. It’s a linear, short experience, but can show off hand-tracking in a very entertaining way in about 15 minutes.
Waltz of the Wizard ($9.99) is another excellent showcase of the technology. You can use your hands to cast spells and interact with just about everything in the VR world around you. If you’ve ever wanted to live out the fantasy of being a wizard who can shoot bolts of lighting from their hands, this is the game for you!
What do you think of hand tracking on Quest? Have you tried it? Which games would you recommend? Share your insights in the comments.
