Conoce las publicaciones más recientes del laboratorio
Publicamos artículos de difusión y divulgación científica constantemente.
Interfaz Humano-Máquina: Control de Cobots Usando Señas Estáticas de la Mano
ISSN: 2448-7031, Asociación Mexicana de Mecatrónica A.C.
Resumen: En la actualidad, la mayoría de las interfaces humano-máquina (HMI, por sus siglas en inglés) se basan en medios físicos, como teclados y pantallas táctiles. Sin embargo, existen otras alternativas para interactuar con las máquinas que resultan más naturales e intuitivas, una de ellas es el control mediante señas de la mano. Una de las principales ventajas de esta alternativa es que no requiere conocimientos técnicos sobre el método de funcionamiento de una máquina, sino que basta con disponer de un diccionario de señas para garantizar una curva de aprendizaje rápida y sencilla. La interacción mediante señas puede realizarse sin necesidad de estar físicamente en el mismo entorno que una máquina, lo que garantiza una mayor seguridad para el usuario. Este trabajo propone una interfaz HMI utilizando el Leap Motion Controller (LMC), un dispositivo que utiliza cámaras infrarrojas para seguir los movimientos de la mano. También se propone un diccionario de señas estáticas que se basa en la clasificación y cuantificación de los dedos extendidos. La precisión alcanzada en el reconocimiento de las señas definidas en este diccionario fue del 96.75% y del 95.77% para la mano izquierda y la mano derecha respectivamente. A partir del reconocimiento de señas estáticas con LMC, se dan instrucciones a tres robots colaborativos (cobots) para que ejecuten tareas específicas en un entorno de fabricación de placas de circuito impreso (PCBs, por sus siglas en inglés).
Palabras clave: Reconocimiento de señas, Leap Motion Controller, Interfaz Humano-Máquina.
Multimodal Human–Robot Interaction Using Gestures and Speech: A Case Study for Printed Circuit Board Manufacturing
Abstract: In recent years, technologies for human–robot interaction (HRI) have undergone substantial advancements, facilitating more intuitive, secure, and efficient collaborations between humans and machines. This paper presents a decentralized HRI platform, specifically designed for printed circuit board manufacturing. The proposal incorporates many input devices, including gesture recognition via Leap Motion and Tap Strap, and speech recognition. The gesture recognition system achieved an average accuracy of 95.42% and 97.58% for each device, respectively. The speech control system, called Cellya, exhibited a markedly reduced Word Error Rate of 22.22% and a Character Error Rate of 11.90%. Furthermore, a scalable user management framework, the decentralized multimodal control server, employs biometric security to facilitate the efficient handling of multiple users, regulating permissions and control privileges. The platform’s flexibility and real-time responsiveness are achieved through advanced sensor integration and signal processing techniques, which facilitate intelligent decision-making and enable accurate manipulation of manufacturing cells. The results demonstrate the system’s potential to improve operational efficiency and adaptability in smart manufacturing environments.
Keywords: human–robot interaction; gesture recognition; speech recognition; PCB manufacturing