El robot programado por investigadores colombianos para enseñar lengua de señas: así funciona

Un grupo de investigadores de la Universidad de La Sabana desarrolló un sistema con Inteligencia Artificial para que un robot humanoide enseñe vocabulario básico de la lengua de señas colombiana. ¿La razón? Motivar tanto a personas oyentes como no oyentes a aprender esta lengua de forma dinámica, mediante la interacción con la máquina.

Suscríbase aquí si le gusta el periodismo independiente. CAMBIO, la verdad siempre

El equipo de investigadores decidió trabajar con el robot NAO H25 V6, fabricado por la compañía francesa Aldebaran Robotics, para programarlo con funciones que le permitieran, en tiempo real, reconocer las señas realizadas por una persona y determinar si están bien ejecutadas o no.

“Pensamos que el robot es un dispositivo que llama mucho la atención. Ya hay otros estudios que indican que este tipo de tecnología aumenta la curiosidad y el deseo de aprender, tanto en niños como en adultos”, explicó a CAMBIO Jorge Alberto Castellanos, profesor de la Facultad de Ingeniería y miembro del grupo de investigación del proyecto, llamado Control y Automatización de Procesos.

Los investigadores consideran que esta invención, además de ser un mecanismo de aprendizaje atractivo, también puede ser parte de la solución a la falta de personal capacitado para la enseñanza de la lengua de señas colombiana, dado que en el país menos del 0,2 por ciento de las instituciones ofrecen educación bilingüe para personas sordas.

¿Cómo aprendió el robot la lengua de señas?

El equipo de investigadores de la Universidad de La Sabana entrenó una red neuronal recurrente del tipo LSTM (memoria a largo y corto plazo) para aprender y procesar datos a partir de videos de personas haciendo señas. Según Juan Esteban Mora Zárate, estudiante e integrante del equipo, los videos permiten que el modelo de Inteligencia Artificial identifique coordenadas del torso y de cada articulación de las manos mientras se realiza la seña.

“Básicamente uno graba una persona alrededor de cuatro segundos, con este video, uno lo que hace es conseguir información adicional. En ese caso lo que nosotros hicimos fue transformarlo en un video con la proyección de la imagen del individuo como un esqueleto. Ese material permite identificar las coordenadas de cada articulación de la persona mientras hace la seña”, afirmó el desarrollador.

¿Cómo enseña el robot lengua de señas?

Entre las señas que el robot es capaz de reconocer con más del 90 por ciento de precisión están, hasta ahora, las de 11 colores. También, identifica los números del 1 al 10 y más de 30 señas de cordialidad como "hola", "buenas tardes" o "hasta luego". No obstante, estas últimas aún se encuentran en fase de entrenamiento, por tanto, no se ha establecido con certeza qué nivel de precisión tiene el sistema para reconocerlas.

Para utilizar el robot, se debe presionar la parte superior de su cabeza. Una vez encendido, se activan las luces LED de sus ojos e indica que está listo para analizar la lengua de señas. La persona debe ubicarse en una posición donde la cámara del robot capte su imagen desde el torso hacia arriba, incluyendo las manos.

Si una persona realiza la seña correspondiente a un color –por ejemplo, amarillo–, la máquina podrá identificar si la seña fue ejecutada correctamente o no.

“Después de que capta la imagen, el robot apaga sus luces LED, procesa la señal y brinda retroalimentación a la persona”, indicó Castellanos.

Si las señas de colores, cordialidad y  números son correctas, el robot asiente con la cabeza y mueve los brazos de forma vertical. En cambio, si son incorrectas, niega con la cabeza y mueve los brazos de forma horizontal.

Por su parte, la profesora de la Facultad de Ingeniería Claudia Lorena Garzón, también miembro del equipo, comentó que al inicio optaron por movimientos en lugar de sonidos en las respuestas del robot, ya que consideraban que este debía ser útil tanto para personas sordas como oyentes. Ahora, con el avance del proyecto, decidieron complementar las respuestas con frases habladas, como: “Hiciste bien la seña” o “Así no se hace el color amarillo".

Además, explicó que, aunque lo ideal sería que el robot también pudiera realizar señas, esto no es posible, dado que no puede mover los dedos de sus manos. “Él tiene movimiento en los brazos, en la cabeza y en las piernas, porque es un robot bípedo, pero no puede mover los dedos, por lo que no puede hacer la seña como tal”, aclaró.

Por último, Castellanos explicó que, aunque el algoritmo de aprendizaje tiene la capacidad de adaptarse a distintos tipos de señas, incluso de otros países, el robot actual está llegando al límite de procesamiento. Una opción viable sería implementar el algoritmo en robots con mayor capacidad. De hecho, el algoritmo puede ser cargado en cualquier dispositivo que cuente con una cámara y poder de cómputo, es decir, cualquier equipo con procesador y memoria.