Ultraleap Gemini demuestra que es posible un excelente seguimiento de la mano


Si el único seguimiento de manos sin controlador que ha utilizado es Quest 2, es posible que no tenga la mejor opinión al respecto.

Claro, es genial ver tus manos reales en realidad virtual por primera vez. Pero intente navegar por el sistema de menús de Quest o agarrar objetos en aplicaciones como Hand Physics Lab, y pronto descubrirá que la calidad del seguimiento deja mucho que desear.

En CES 2022, probé la tecnología de quinta generación de Ultraleap, que la empresa llama Gemini. Si ha estado siguiendo la realidad virtual desde antes del lanzamiento de los auriculares para el consumidor, está familiarizado con Leap Motion, una startup que lanzó un accesorio de seguimiento manual de escritorio en 2014 que podría montarse en la parte frontal del Oculus Developer Kit 2. Llevó el seguimiento de manos a la realidad virtual antes de que la mayoría de los usuarios tuvieran acceso a los controles de movimiento.

Leap Motion tenía una pequeña selección de aplicaciones de demostración e incluso fue respaldada por la plataforma social AltSpaceVR. Pero cuando los controladores HTC Vive y Oculus Touch se lanzaron en 2016, rápidamente perdieron relevancia a pesar de una importante actualización de calidad del algoritmo llamada «Orion». Para 2019, incluso AltSpace dejó de ser compatible con Leap Motion: los desarrolladores priorizan el hardware que los usuarios realmente poseen, y aunque Leap Motion era relativamente barato (alrededor de $ 80), todavía tenía el clásico problema del huevo y la gallina de los accesorios de entrada.

Leap Motion fue adquirida por la empresa de tecnología háptica con sede en el Reino Unido UltraHaptics en 2019 y se fusionó con UltraLeap. Un año después, Facebook envió una actualización de software para Oculus Quest que agregó seguimiento manual. El seguimiento manual de Quest utiliza las cámaras de ojo de pez grises integradas (que también pueden ver en el espectro infrarrojo). Funciona, y millones de personas lo han usado, pero si sus manos están en el ángulo equivocado o demasiado juntas, se estropea rápidamente. Probar Ultraleap me mostró cuánto mejor puede ser el seguimiento de la mano.

El seguimiento de manos con calidad de realidad virtual requiere superposición de sensores: el algoritmo compara la perspectiva de cada cámara para determinar la posición relativa de cada mano. Las cámaras de Quest tienen un amplio campo de visión, pero dado que están ubicadas en los bordes exteriores de los auriculares, el rango de seguimiento de la mano es relativamente pequeño. Debido a esto, solo funciona correctamente cuando sus manos están directamente frente a usted, y es posible que el sistema restablezca el seguimiento cuando vuelva a ver sus manos.

La última tecnología de seguimiento de manos Gemini de Ultraleap es la sucesora de Orion, y Ultraleap afirma que fue reescrita desde cero. Se anunció en 2020 junto con un acuerdo de varios años con Qualcomm para integrar y optimizar el chip Snapdragon XR2. El 95 % del algoritmo se ejecuta en el DSP (procesador de señal digital) del XR2, lo que libera la CPU para las aplicaciones reales de realidad virtual y realidad aumentada.

Probé Gemini como un complemento del casco de realidad virtual Vive Focus 3 y como un aspecto integrado del próximo casco de realidad mixta Lynx R1: ambos cascos usan el chip XR2. Las dos cámaras de ojo de pez infrarrojas miran hacia adelante en lugar de hacia los lados, lo que da como resultado una superposición casi completa en un campo de visión de 170 grados. Eso es más ancho que las lentes de ambos auriculares (y casi todos los auriculares que existen).

El resultado fue que, al igual que con los controladores de movimiento, pude estirar los brazos de forma natural y ya no tuve que preocuparme por salirme del rango de seguimiento.

El hardware, como Leap Motion antes, también cuenta con iluminadores infrarrojos activos para iluminar sus manos para una mejor visión. Además, los sensores se escanean a 90 fotogramas por segundo. La combinación de estas especificaciones y el algoritmo Gemini significó que las manos virtuales parecían coincidir con las mías con precisión y sin latencia perceptible. Atrás quedaron los retrasos y fallas del seguimiento manual de Quest: Gemini se sentía generaciones por delante. Incluso podría cruzar los dedos. El seguimiento solo comenzó a fallar cuando una mano estaba casi completamente cerrada.

Hablando de oclusión, uno de los aspectos más impresionantes de la demostración fue el tiempo de readquisición. Cubrí una de mis manos intencionalmente colocándola debajo de una mesa, pero cuando volvió a ser visible, la persecución comenzó de nuevo casi de inmediato.

Siempre he creído que el seguimiento manual sin controlador jugará un papel importante en la realidad virtual convencional. Algunas personas descartan esto debido a la falta de sensación táctil, una opinión con la que realmente no puedo estar en desacuerdo. Otros se muestran escépticos porque se les acusa de falta de precisión. Gemini demuestra que esto es realmente solo la calidad de seguimiento de Quest, no una limitación fundamental de la tecnología.

Gemini estará preintegrado con los auriculares Lynx R1, cuyo precio inicial es de alrededor de $500 para los patrocinadores de Kickstarter. En pocas palabras, nunca ha habido un rastreador de manos de esta calidad a este precio. Estoy emocionado de ver qué harán los desarrolladores con él y para futuros dispositivos que usen esta tecnología. Meta tiene que ponerse al día.



Fuente

Deja un comentario