Detección de comportamiento no verbal en interacción humano-robot

Detection of non-verbal behavior in human-robot interaction

Ernesto Adrián Lozano De la Parra (2023, [Tesis de maestría])

La comunicación no verbal desempeña un papel vital en la interacción humana. En el contexto de la interacción humano-robot (IHR), los robots sociales están diseñados principalmente para la comunicación verbal con los humanos, dejando a la comunicación no verbal como un área de investigación abierta. En este trabajo, se presenta una arquitectura flexible y abierta llamada Software Arquitechture for Nonverbal Interaction in Human-Robot Interaction (SANI-HRI) diseñada para facilitar las interacciones no verbales en IHR. Entre sus componentes se encuentra un Cuaderno Computacional P2P basado en navegador web, aprovechado para codificar, ejecutar y compartir programas reactivos. Pueden incluirse modelos de aprendizaje automático para el reconocimiento en tiempo real de gestos, poses y estados de ´animo, empleando protocolos como MQTT. Otro componente clave es un Broker para distribuir datos entre distintos dispositivos físicos, como robots, dispositivos vestibles y sensores ambientales, así como modelos de aprendizaje automático que comprendan diferentes tipos de datos. Se demuestra la utilidad de esta arquitectura mediante tres escenarios de interacción: (i) el primero que emplea la proxémica y la dirección de la mirada para iniciar un encuentro improvisado, (ii) un segundo que utiliza técnicas de visión por computadora para detectar y analizar expresiones faciales y corporales, así como el uso sensores biométricos para obtener datos de ritmo cardiaco durante una rutina de ejercicio, y (iii) un tercero que incorpora el reconocimiento de objetos y Modelos de Lenguaje Grandes para sugerir comidas a cocinar en función de los ingredientes disponibles. Estos escenarios ilustran cómo los componentes de la arquitectura pueden integrarse para abordar nuevos escenarios, en los que los robots necesitan inferir señales no verbales de los usuarios.

Nonverbal communication plays a vital role in human interaction. In the context of Human-Robot Interaction (HRI), social robots are designed primarily for verbal-based communication with humans, making nonverbal communication an open research area. We present a flexible, open framework called Software Architecture for Nonverbal Interaction in Human-Robot Interaction (SANI-HRI) designed to facilitate nonverbal interactions in HRI. Among its components it has a P2P Browser-Based Computational Notebook, leveraged to code, run, and share reactive programs. Machine-learning models can be included for real-time recognition of gestures, poses, and moods, employing protocols such as MQTT. Another key component is a broker for distributing data among different physical devices like the robot, wearables, and environmental sensors and also machine learning models. We demonstrate this framework’s utility through three interaction scenarios: (i) the first one employing proxemics and gaze direction to initiate an impromptu encounter, (ii) a second that uses computer vision techniques to detect and analyze facial and body expressions, as well as the use of biometric sensors to obtain heart rate data during a workout routine, and (iii) a third one incorporating object recognition and a Large-Language Model to suggest meals to be cooked based on available ingredients. These scenarios illustrate how the framework’s components can be seamlessly integrated to address new scenarios, where robots need to infer nonverbal cues from users.

Interacción humano-robot, Comunicación no verbal, Broker MQTT, Notebook computacional, Modelos linguísticos grandes, SANI-HRI Human-robot interaction, Nonverbal communication, Broker MQTT, Computational notebook, Large language models, SANI-HRI INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES SISTEMAS DE RECONOCIMIENTO DE CARACTERES SISTEMAS DE RECONOCIMIENTO DE CARACTERES

Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL