Implementación de un filtro de Kalman de dos etapas para el seguimiento de palillos de batería en tiempo real

Abstract

En el presente trabajo se desarrolla un sistema capaz de calcular la posición a tiempo real de palillos de batería mediante la utilización de sensores y reconocimiento de imágenes. Para su ejecución, se plantea la utilización de sensores inerciales, conocidos como IMUs—tales como un acelerómetro, giroscopio y magnetómetro—y las imágenes en colores con mapa de profundidad (RGB-D) de una cámara Microsoft Kinect, analizadas mediante una única red neuronal convolucional (YOLO). Asimismo, para calcular la odometría de los palillos, se utilizarán técnicas de fusión de sensores a través distintos filtros de Kalman, dependiendo de lo que se requiera calcular. El objetivo final del mismo es poder emular el funcionamiento de una batería real.

In the present work, a system capable of calculating the real-time position of drumsticks is developed using sensors and image recognition. For its implementation, the use of inertial sensors, known as IMUs—such as an accelerometer, gyroscope, and magnetometer—is proposed, along with color images with depth maps (RGB-D) from a Microsoft Kinect camera, analyzed using a single convolutional neural network (YOLO). Likewise, to calculate the odometry of the drumsticks, sensor fusion techniques using various Kalman filters will be employed, depending on the required calculation. The goal is to emulate the functioning of a realdrum set.