Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

Reconocimiento continuo de la Lengua de Señas Mexicana

Continuous recognition of Mexican Sign Language

Ricardo Fernando Morfín Chávez (2023, [Tesis de maestría])

La Lengua de Señas Mexicana (LSM) es la lengua utilizada por la comunidad Sorda en México, y, a menudo, subestimada y pasada por alto por la comunidad oyente, lo que resulta en la exclusión sistemática de las personas Sordas en diversos aspectos de la vida. Sin embargo, la tecnología puede desempeñar un papel fundamental en acercar a la comunidad Sorda con la comunidad oyente, promoviendo una mayor inclusión y comprensión entre ambas. El objetivo principal de este trabajo es diseñar, implementar y evaluar un sistema de reconocimiento continuo de señas estáticas en LSM mediante, visión por computadora y técnicas de aprendizaje máquina. Se establecieron objetivos específicos, que incluyen la generación de un conjunto de datos de señas estáticas, pertenecientes al alfabeto manual de la LSM, el diseño de un modelo de reconocimiento, y la evaluación del sistema, tanto en la modalidad aislada como en la continua. La metodología involucra dos evaluaciones distintas. La primera se enfoca en el reconocimiento de señas estáticas en el dominio aislado, para ello se capturaron datos de 20 participantes realizando movimientos de la mano en múltiples ángulos. Se evaluaron diversas técnicas de aprendizaje automático, destacando que el enfoque basado en Máquinas de Soporte Vectorial (SVM) obtuvo los mejores resultados (F1-Score promedio del 0.91). La segunda evaluación se concentra en el reconocimiento continuo de señas estáticas, con datos recopilados de seis participantes con diferentes niveles de competencia en LSM, logrando un rendimiento sólido con errores cercanos al 7 %. Además, se evaluó la viabilidad del sistema en aplicaciones de tiempo real, demostrando un excelente desempeño (velocidad promedio de procesamiento de 45 cuadros por segundo). A pesar de los logros alcanzados, es importante reconocer que este proyecto se centró en el reconocimiento continuo de señas estáticas en LSM. Queda pendiente, como un desafío interesante, la exploración del reconocimiento continuo de señas dinámicas en LSM para futuras investigaciones. Se considera esencial explorar enfoques orientados a la escalabilidad y aplicaciones en tiempo real en investigaciones posteriores.

This study focuses on the continuous recognition of static signs in Mexican Sign Language (Lengua de Señas Mexicana (LSM)), the language used by the Deaf community in Mexico. Despite its significance, LSM is often underestimated and overlooked, leading to the systematic exclusion of Deaf individuals in various aspects of life. The primary objective of this work is to design, implement, and evaluate a continuous static sign recognition system in LSM using computer vision and machine learning techniques. Specific goals were established, including the creation of a dataset of static signs belonging to the manual alphabet of LSM, the design of a recognition model, and the evaluation of the system in both isolated and continuous modes. The methodology involves two distinct evaluations. The first one focuses on the recognition of static signs in the isolated domain, for which data from 20 participants performing hand movements at various angles were collected. Various machine learning techniques were evaluated, with the Máquinas de Soporte Vectorial (SVM)-based approach achieving the best results (average F1-Score of 0.91). The second evaluation centers on the continuous recognition of static signs, using data collected from six participants with varying levels of competence in LSM, achieving robust performance with errors close to 7 %. Furthermore, the feasibility of the system in real-time applications was assessed, demonstrating excellent performance (average processing speed of 45 frames per second). Despite the achievements, it is important to recognize that this project focused on continuous recognition of static signs in LSM. It remains an interesting challenge to explore the continuous recognition of dynamic signs in LSM for future research. It is considered essential to explore scalability-oriented approaches and real-time applications in subsequent investigations.

Lengua de Señas Mexicana (LSM), visión por computadora, aprendizaje automático, alfabeto manual de la LSM, reconocimiento automático de señas estáticas, reconocimiento aislado de señas, reconocimiento continuo de señas, aplicacion Mexican Sign Language (LSM), computer vision, machine learning, LSM manual alpahbet, automatic recognition of static signs, isolated sign recognition, continuous sign recognition, real-time aplications INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES ENSEÑANZA CON AYUDA DE ORDENADOR ENSEÑANZA CON AYUDA DE ORDENADOR