Diferentes tipos de realidad aumentada
Contenidos
Son varios y diversos los tipos de realidad aumentada existentes en el mercado. En este post te vamos a definir cada uno de estos tipos y daremos información detallada sobre aquellos que cubrimos dentro de nuestra plataforma Onirix. En este post nos centraremos en los tipos de RA que pueden ser consumidos desde un teléfono móvil, prestando especial atención a los que se pueden consumir desde entornos web (Web AR).
Las características que permiten clasificar estos modos de utilizar la realidad aumentada suelen venir dadas por el modo de iniciarla (disparador) y por el seguimiento o tracking de la experiencia. En función de ello podemos encontrar un amplio grupo de tipos de realidad aumentada, como son:
- Realidad aumentada sobre marcadores
- Realidad aumentada con seguimiento de imágenes (Image tracking)
- Realidad aumentada geolocalizada
- Realidad aumentada en superficies (también llamado World tracking o SLAM)
- Realidad aumentada en espacios (Spatial Tracking)
- Realidad aumentada sobre objetos
- Face tracking o realidad aumentada con filtros en la cara
- Body tracking o realidad aumentada sobre partes del cuerpo
- Realidad aumentada en espacios abiertos (World mapping)
Tabla comparativa de los tipos de realidad aumentada
A continuación te mostramos una comparativa con las diferencias entre los distintos tipos de AR:
Tipo | Disparador o tracker | Necesario generar tracker previamente | Soporte web (web AR) | Complejidad (1-5) (bajo-alto) |
Marcadores | Imagen no figurativa (marker) |  | |  |
Imágenes (image tracking) | Imagen figurativa | | |  |
Geolocalizada | Posición GPS |  | | |
Sobre objetos (object tracking) | Malla / Modelo 3D | | | |
Rostro humano (Face tracking) | Rostro humano | | | |
Cuerpo humano (Body tracking) | Cuerpo humano, mano, pie | | | |
Superficies (World tracking) | Plano horizontal o vertical | | | |
Espacios (Spatial tracking) | Escaneado de estancia completa (entorno limitado) | | |  |
Espacios abiertos (World mapping) | Escaneado de grandes espacios abiertos (mapeado del mundo) | | | |
Otros métodos de clasificación
Cabe destacar que este no es el único sistema de división de los tipos de realidad aumentada, donde damos especial peso al uso masivo a través de teléfono móvil y web AR. Existen estudios donde se hace una diferenciación basada en otro tipo de conceptos, como puede ser este estudio de clasificación de los diferentes tipos de realidad aumentada 1.
Aquí, como se puede observar, se plantea una organización en la que se añaden soportes como la proyección de imágenes sobre edificios con herramientas como grandes proyectores o también donde se incluyen otro tipo de herramientas como gafas o headsets (ejemplo de Google Glass, HoloLens, etc.).
En Onirix preferimos orientar la clasificación como hemos planteado, ya que todo el mundo cuenta con un dispositivo de RA muy potente y accesible, al alcance de su mano, con el que se pueden visualizar experiencias impactantes y de alto valor: su teléfono móvil.
Tipos de realidad aumentada para móviles
A continuación nos pararemos a revisar cada uno de los tipos de realidad aumentada en detalle y daremos información más específica sobre aquellos tipos de AR soportados por Onirix, o en los que estamos trabajando.
Realidad aumentada sobre marcadores
Originalmente (aunque aún se ven algunos casos del uso de este tipo de marcadores), la realidad aumentada se planteaba detectando imágenes no figurativas. Es decir, se planteaban elementos que el ojo humano no era capaz de comprender, pero que eran realmente buenos para un algoritmo, ya que definían formas simples muy marcadas y, por tanto, resultaba sencillo detectarlas y hacer seguimiento.
Este tipo de imágenes fueron evolucionando e incluso hoy en día se puede colocar AR sobre códigos QR, que son el mismo tipo de imagen inteligible para las personas, pero al menos tienen la capacidad de aparecer a nuestro alrededor en diversos tipos de formatos físicos.
Este tipo de realidad aumentada nunca ha llegado a ser realmente utilizada, más allá de ensayos o experimentos en departamentos de visión por computador, por la poca utilidad del soporte final.
En Onirix soportamos la AR sobre códigos QR, aunque es un tipo de tracking que solamente ofrecemos para casos puntuales que lo necesitan de manera expresa.
Realidad aumentada con seguimiento de imágenes (Image tracking)
La clara evolución del caso anterior fue la de lograr una experiencia sobre imágenes figurativas, es decir, imágenes que sí están en nuestro día a día y son reconocibles por el ojo humano: pósters, paquetes de productos, tarjetas de visita, etiquetas, portadas de libros, etc. En este caso es necesario realizar un pequeño proceso de entrenamiento de la imagen para que el sistema detecte los puntos clave o puntos reconocibles. A partir de ahí los algoritmos de visión son capaces de detectar estas imágenes en cuestión de milisegundos y posteriormente hacer un seguimiento o tracking constante, manteniendo el contenido de AR como si estuviera anclado.
Este es uno de los tipos principales de AR soportados en Onirix. En este post de image tracking puedes encontrar mucha más información sobre este extendido tipo de realidad aumentada y su multitud de usos.
Realidad aumentada geolocalizada
Cuando se utiliza una posición GPS en un mapa para lanzar las experiencias de RA podemos decir que es realidad aumentada geolocalizada o basada en posiciones GPS. Hay dos modos principales de mostrar el contenido de AR en estos casos:
- Contenido flotando en tiempo real conectado a la señal GPS: a través de la cámara podemos ver lo que hay a nuestro alrededor colocado en función de su posición GPS. Este uso no suele ser ideal por una razón: el error GPS (de manera constante está en torno a los 5-10 metros).
- Contenido estático que aparece cuando llegamos a una posición GPS: este es un modo mucho más estable y fácilmente consumible ya que nos permite obtener el contenido que queremos una vez llegamos a un punto específico. En Onirix contamos con un módulo para activar mapas GPS en cualquiera de tus proyectos.
Realidad aumentada en superficies (también llamado World tracking o SLAM)
Esta es sin duda una de los principales modos de consumir RA hoy en día ya que permite colocar cualquier tipo de contenido de manera libre frente al usuario: sobre una mesa, el suelo, o incluso flotando en el aire. Es un modo realmente complejo porque básicamente requiere una detección y procesamiento del entorno del usuario en tiempo real. La gran diferencia con respecto a, por ejemplo, face tracking, es que el entorno que el usuario tiene delante va a cambiar en cada ejecución y, por tanto, el algoritmo debe ser capaz de adaptarse a cualquier escenario o superficie: formas, colores, texturas, luminosidad, etc.
Para dar forma a este tipo de experiencias es necesario generar un algoritmo que sea capaz de tomar los puntos clave de cualquier entorno, determinar donde están ubicados y además hacer un seguimiento de los mismos a lo largo de la ejecución de la experiencia. Es decir, debe ser capaz de adaptarse a los cambios de cámara utilizando para ello sensores como el giroscopio o acelerómetro, además de todo el procesamiento de visión a través de la cámara.
Por eso se llama comúnmente World tracking. Es como un detector del mundo real en tiempo real que permite colocar contenidos y anclarlos a la superficie.
En Onirix disponemos de nuestro propio sistema de World Tracking adaptado para Android e iOS que puedes probar desde nuestra plataforma Studio. Dispones de más información en nuestra documentación detallada sobre escenas de tipo superficie.
Realidad aumentada en espacios (Spatial tracking)
Este es el siguiente tipo de AR en el que estamos trabajando para incorporar en Onirix,y darle soporte en web AR. Es la combinación de los dos principales trackings con los que ya contamos: image tracking y world tracking. Gracias a la realidad aumentada en espacios el usuario puede situarse y detectar un espacio acotado, como puede ser una estancia completa.
Imaginemos por ejemplo una sala de máquinas donde un operario tiene que realizar sus labores de mantenimiento. Tener la capacidad de comprender todo ese espacio y realizar un seguimiento de cualquiera de sus zonas hace que se puedan ofrecer experiencias muy potentes e impactantes en cualquier tipo de sector.
Para lograr configurar el espacio sobre el que se quiere realizar la experiencia, previamente es necesario realizar una fase de escaneado. Este escaneado es la toma de fotografías de todo el entorno durante una ejecución extensa. Posteriormente se procesa el conjunto de imágenes con el resto de la información obtenida del entorno y se genera lo que se llama una malla o una nube de puntos del espacio. Esta nube de puntos es una representación virtual de la estancia sobre la que queremos trabajar.
Partiendo de esta información se puede configurar el contenido de una manera sencilla en una herramienta como Onirix Studio para, finalmente, ser capaces de detectar dicho entorno a través del teléfono y situar todo el contenido anclado de manera precisa.
Realidad aumentada sobre objetos
Este es un tipo de realidad aumentada aún no soportado por Onirix pero que esperamos poder añadir en algún momento especialmente con soporte web AR.
Se trata de generar un tracking completo sobre un objeto real y, por tanto, lograr hacer un seguimiento de cualquiera de sus partes de manera muy precisa. Normalmente este tipo de tracking se logra partiendo de una réplica 3D (al menos la estructura) del objeto real. Dicho modelo 3D (que no necesita tener un acabado realista y texturizado, simplemente la estructura) representa el esqueleto del objeto y nos sirve para realizar la fase de entrenamiento y posteriormente detección del objeto.
Este tipo de RA es muy útil para generar experiencias en elementos muy complejos que requieren de indicaciones precisas y, sobre todo, que son elementos móviles, aunque tiene la desventaja de que requiere la generación de ese modelo 3D previamente para poder realizar la fase de entrenamiento.
Como veremos más adelante, el tipo de AR de espacios puede ayudar también en este tipo de experiencias, siempre que no se trate de elementos móviles.
Face tracking o realidad aumentada con filtros en la cara
Este es un tipo de realidad aumentada muy extendido principalmente por su uso en redes sociales. Todos hemos probado algún filtro de la cara en Instagram o Snapchat en el que se nos detecta la cara y sobre ella se muestra información visual. Puede servir para mostrarnos con maquillaje o directamente con deformidades cómicas.
Estos algoritmos se basan en el hecho de que de manera generalizada las personas tenemos la misma estructura facial. Por tanto, es relativamente sencillo generar un algoritmo que sea capaz de saber que está delante de una cara humana. Para ello se generan entrenadores de algoritmos con una base de datos de caras de muchísimas personas (datasets). Partiendo de estos datasets podemos ser capaces de determinar potenciales puntos clave de la cara que definen la morfología (nariz, boca, ojos, cejas, etc.). Con toda esta información, estos algoritmos son capaces de detectar una cara en milisegundos y hacer un seguimiento preciso y, por tanto, de colocar contenido visual de manera efectiva.
En Onirix nos hemos focalizado en otro tipo de trackings, principalmente porque ya hay muchas soluciones que resuelven este tipo de experiencias.
Body tracking o realidad aumentada sobre partes del cuerpo
Del mismo modo que en el caso anterior, si un algoritmo es capaz de detectar los puntos de la morfología de un rostro, podría hacerlo también del cuerpo humano, un pie, una mano, etc. Es aquí donde se extiende el uso del face tracking a lo que se conoce como body tracking.
Una vez se entrena el algoritmo y es capaz de establecer en tiempo real los puntos clave de la morfología humana (o de una mano, o un pie), sería posible colocar contenido superpuesto en dichos puntos. El reto de este tipo de casos es lograr un algoritmo fluido en web AR ya que generalmente los casos existentes son más orientados a dispositivos e independientes como es el caso de la famosa kinect.
Cada día hay más y mejores algoritmos que permiten detectar este tipo de formas y, por tanto, es un campo muy amplio para experimentar con marcas y anuncios de productos.
Realidad aumentada en espacios abiertos (World mapping)
Este caso es un uso similar al anterior, pero donde partimos de un escaneado de entornos mucho mayores y amplios. Gracias a tecnologías como Google Street View, una empresa como Google es capaz de generar estos escaneados de diversas partes del mundo. Contando con esos escaneados seremos capaces de colocar contenido aumentado de diversas maneras. Una de ellas será sin duda a través de plataformas como Onirix, donde podremos ver una representación de dichos espacios y colocar el contenido a través del editor de escenas de manera sencilla e intuitiva.
Es precisamente lo que Google ha estado utilizando para dar contenido de AR a sus aplicaciones internas como Google Maps y que en un futuro cercano posiblemente estén adaptadas para su consumo desde web. Otras empresas como Niantic o Snapchat también están llevando a cabo este proceso, mapeando partes del mundo y procesándolas para su uso interno o publicación en sus SDKs.
En Onirix aún no contamos con un sistema de World Mapping, pero sí está en nuestros planes permitir integraciones con las herramientas más importantes que soporten este tipo de seguimiento en un futuro cercano.
Fuentes
- JASCHE, Florian, et al. Comparison of different types of augmented reality visualizations for instructions. En Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. 2021. p. 1-13.
- PEDDIE, Jon; PEDDIE, Jon. Types of augmented reality. Augmented Reality: Where We Will All Live, 2017, p. 29-46.
Citaciones
- Edwards-Stewart, Amanda & Hoyt, Tim & Reger, Greg. (2016). Classifying different types of augmented reality technology. Annual Review of CyberTherapy and Telemedicine. 14. 199-202.
