Si bien está claro que las empresas líderes en tecnología han fijado su gran apuesta de la realidad virtual en el sector del ocio, con la creación de mundos artificiales que nos ofrecen aventuras digitales cada vez más reales para nuestro disfrute, aún hay quien sigue desarrollando las capacidades que ésta nos ofrece para fines más acordes a sus orígenes en los años 70: el entrenamiento y la enseñanza.

En este sentido, el Grupo de Investigación sobre Tecnologías de la Información para la Digitalización 3D de Objetos Complejos (TIDOP) de la Universidad de Salamanca ha presentado SICEMAM, el primer sistema inteligente de realidad virtual aumentada para la asistencia al operario en el desempeño de tareas de mantenimiento de los aviones F-18 del ejército español del aire, según informó a Comunicación Usal Diego González Aguilera, responsable del grupo de investigación y director del Departamento de Ingeniería Cartográfica y del Terreno en la Escuela Politécnica Superior de Ávila.

Los investigadores de la Usal prevén que la herramienta, desarrollada en colaboración con la empresa líder en el sector de la aeronáutica ITP (Industria de Turbo Propulsores), ayudará significativamente en la toma de decisiones relacionadas con el mantenimiento del emblemático cazabombardero, así como en las labores de entrenamiento de los operarios en el despiece de los diferentes componentes mecánicos del avión “agilizando procesos y ahorrando costes en tareas de gran complejidad”, subraya González Aguilera.

Con la toma de datos a través de distintos sistemas de captura, que incluyen fotogrametría/visión computacional, un brazo robótico, gaming sensor y luz estructurada, SICEMAM crea modelos tridimensionales que proporcionan un entorno virtual en tiempo real para el desempeño de dos de las tareas fundamentales a testar en estas aeronaves como son, el mantenimiento del paquete de frenos y la compuerta de aterrizaje.

El trabajo supuso la modelización en torno a 200 objetos a través de diferentes métodos

Además, el sistema presenta dos vertientes y puede utilizarse para brindar, por una parte, asistencia directa al profesional en sus labores de reconocimiento, o bien explotarlo en su modo más didáctico y enfocarlo al entrenamiento virtual del alumno en las tareas de montaje, desmontaje y la inspección y reparación de piezas.

En cuanto a las tareas de supervisión en el hangar, el operario podrá ejecutar su labor provisto de unas gafas tipo google glasses y un dispositivo electrónico en su antebrazo que le guiará durante todo el proceso. Podrá seguir las instrucciones indicadas a través de las gafas, de manera sencilla, e incluso empleando comandos de voz. El visor, con la ayuda de la tableta, será el encargado de reconocer los elementos a revisar, previamente modelados e insertados en el sistema de realidad virtual.

SICEMAM ha facilitado que los investigadores de la Usal desarrollen la librería “Retrack 3D” (Recognition and Tracking in 3D), que proporciona capacidades de reconocimiento de objetos en tiempo real. Y es que lo exhaustivo y detallado de los descriptores y los elementos que la componen permite la identificación “de todas y cada una de las piezas y tareas a desempeñar, indicando los pasos sistemáticos pautados para cada procedimiento”, detalla el director de TIDOP.”

Pieza del tren de aterrizaje de un F-18

SICEMAM en el aula virtual

Por otra parte, SICEMAM también ofrece la interesante posibilidad de ser ejecutado a modo de simulador en el aula para que el alumno pueda entrenar, en esa realidad virtual, tareas concretas. Además de poder grabar sus sesiones de entrenamiento podrá beneficiarse del “feedback resultante al contrastar sus progresos con las tareas realizadas por los operarios expertos que, almacenadas también en el sistema, le servirán como modelos de referencia”, añade Diego González Aguilera.

Al respecto, el responsable señala como uno de los grandes desafíos a los que se enfrentaron para la codificación de toda esta realidad compleja “la dotación de una semántica apropiada y clara que incorporase todas esas reglas de conocimiento, tanto formal como informal, que el experto operario posee y aplica”. Enriquecer el sistema con el expertise adquirido por el técnico en su trayectoria profesional, ese que “no se encuentra recogido en ningún manual”, y poder transferirlo a las tareas de instrucción fue “uno de los grandes retos en el proyecto”, destaca el director del grupo de investigación.

Pruebas del prototipo en el laboratorio del grupo TIDOP

Modelado 3D de las piezas, hito del proyecto

SICEMAM (Sistema Cibernético Experto para la captación, almacenamiento, gestión y transferencia del conocimiento en el Mantenimiento de Aeronaves Militares) se estructura en cuatro módulos independientes y una librería, para crear -a través de la combinación de la información recopilada en las distintas fases de modelado, ensamblaje e incorporación a un sistema de realidad virtual y aumentada- una herramienta “redonda que, en tres dimensiones y a escala, proporciona un entorno idóneo de asistencia o instrucción”, en palabras del profesor de la Usal.

Entre los hitos destacados del trabajo figura la obtención en 3D de las piezas y objetos del F-18, lo que supuso la modelización en torno a 200 objetos en la propia base aérea -con la colaboración de los mecánicos que los instalan- para alimentar así el sistema de reconocimiento y realidad aumentada.

Al respecto, hay que destacar en la fase de modelado que los procesos desarrollados garantizan resoluciones equivalentes al tamaño del píxel de la imagen y superiores a muchos sistemas de escaneo láser.

La interfaz final como elemento clave para el éxito del dispositivo

Los cuatro módulos de SICEMAM se integran finalmente en un sistema cibernético en el que la interfaz con el usuario final es una parte clave para la correcta comunicación y manejo de la herramienta. Este último aspecto tiene como objetivo perfeccionar el sistema de realidad virtual aumentada para poder ofrecer tutorizaciones en tiempo real exitosas.

En una tutorización virtual el reconocimiento y detección de movimientos son fundamentales para la interacción e inmersión del usuario en el entorno digital de entrenamiento que se le ofrece. Entendiendo, además, el realismo como uno de los elementos principales que influirán directamente en el éxito del dispositivo.

La iniciativa, que comenzó a desarrollarse en 2013 con un presupuesto de 2.5 millones de euros, cofinanciado por el Ministerio de Economía y Competitividad y la Unión Europea a través del Fondo Europeo de Desarrollo Regional (FEDER), ha sido validada con éxito en la Maestranza Aérea de Albacete -en dos casos para el estudio del paquete de frenos y el sistema de aterrizaje de uno de los F-18 en proceso de reparación- y su prototipo acaba de ser presentado en 2016 en la Base Aérea de Cuatro Vientos (Madrid).

En una tutorización virtual el reconocimiento y detección de movimientos son fundamentales para la interacción

Esta ha sido la primera vez que se han utilizado tecnologías de realidad virtual aumentada en el ámbito del Ejército del Aire para este tipo de tareas y ha servido como experiencia piloto para confirmar la aplicabilidad de estos desarrollos digitales en el ámbito de la enseñanza, mantenimiento y entrenamiento de las aeronaves militares, en concreto, y civiles, por extensión.

Todo apunta a que la realidad virtual aumentada está aquí y ha llegado para quedarse. Sus aplicaciones son múltiples y se encuentran en un punto álgido de desarrollo. De hecho, este mismo sistema recién desarrollado por la Universidad de Salamanca puede seguir “implementándose y ser trasladado a otras áreas con ciertas características en común, como podría ser el sector de la automoción”, como señala Diego González Aguilera.

O, ¿por qué no?, podría ser llevado a un sector tan diferente como el de la medicina con el objeto de crear entornos artificiales de calidad que permitan entrenar intervenciones quirúrgicas de precisión, disminuyendo así el riesgo para el paciente.     

La puerta a nuevas realidades está abierta y su orientación al mercado es evidente y heterogénea. Ahora, solo falta cruzarlas y comprobar hasta donde nos llevan.

ITP (Industria de Turbo Propulsores)

ITP es una empresa líder en su segmento de mercado, siendo actualmente la novena compañía de motores y componentes aeronáuticos por ventas del mundo y situándose entre las cien primeras compañías de la industria aeronáutica (Top 100 Aerospace Companies, PwC y Flight International, 2015). La compañía cuenta con centros productivos en España, Gran Bretaña, Malta, Estados Unidos, India y México y una plantilla de más de 3.000 empleados.

Entre sus actividades, ITP incluye el diseño, investigación y desarrollo, fabricación y fundición, montaje y pruebas de motores aeronáuticos. Dentro del segmento de Soporte en Servicio, presta servicios para una amplia gama de motores, accesorios, componentes y piezas. Su experiencia incluye clientes que operan en los mercados civiles, industriales y de defensa en todo el mundo. Es también centro oficial de mantenimiento de la mayor parte de los fabricantes de motores existentes actualmente en el mundo.

Grupo TIDOP de la Universidad Salamanca

Creado en el año 2005, el grupo de investigación reconocido TIDOP y Unidad de Investigación Consolidada de Castilla y León pertenece al Departamento de Ingeniería Cartográfica y del Terreno de la Universidad de Salamanca. Su núcleo de actividad se centra en el desarrollo y aplicación de sensores inteligentes y sistemas computacionales a la ingeniería y arquitectura. Se caracteriza por su composición multidisciplinar, con miembros especializados en diferentes campos como la geomática, informática, ingeniería industrial, ingeniería civil y arquitectura.

Premiado tanto a nivel internacional como nacional en numerosas ocasiones, actualmente centra sus esfuerzos de investigación en el desarrollo de algoritmos y herramientas para el modelado tridimensional a escala, utilizando para ello fotografías o nubes de puntos. Como resultado, el grupo de investigación TIDOP trabaja en colaboración con compañías líderes en el sector industrial dentro de los campos de la ingeniería aeroespacial, energía, seguridad, transporte, inventariado y mantenimiento de carreteras.

Diego González Aguilera, director del proyecto SICEMAM