Autor: Jesús Martin

Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023)

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

Tesis de maestría

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

Replication Data for: A Bayesian Linear Phenotypic Selection Index to Predict the Net Genetic Merit

J. Jesús Cerón Rojas Sergio Pérez-Elizalde Jose Crossa Johannes Martini (2021)

In breeding, the plant net genetic merit may be predicted through the linear phenotypic selection index (LPSI). This paper associated with this dataset proposes a Bayesian LPSI (BLPSI). The supplemental files provided in this dataset include data that were used to compare the two indices as well as figures showing the results from these comparisons. The analysis revealed that the BLPSI is a good option when carrying out phenotypic selections in breeding programs.

Dataset

CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA

Una rara especie de hongo micorrízico arbuscular encontrada en Yucatán, México: Acaulospora cavernata

MARTIN HASSAN POLO MARCIAL NATALI GOMEZ FALCON María Mabel De Jesús Alarcón Luis Alfonso Sáenz Carbonell ANTONIO ANDRADE TORRES (2023)

Se reporta por primera vez y se ilustra una especie de hongo micorrízico arbuscular para Yucatán: Acaulospora cavernata, asociado a la rizosfera de cocotero. La incursión de esta singular especie amplía su distribución en México e incrementa la riqueza para el estado de Yucatán, donde está representado el 53% de la riqueza de hongos micorrízicos arbusculares conocida en el país.

Artículo

COCOS NUCIFERA DISTRIBUCION DIVERSISPORALES GLOMEROSPORA TAXONOMIA BIOLOGÍA Y QUÍMICA CIENCIAS DE LA VIDA BIOLOGÍA VEGETAL (BOTÁNICA) ECOLOGÍA VEGETAL ECOLOGÍA VEGETAL

Distribución del carbono forestal y la riqueza de especies en la Reserva Ecológica Cuxtal, Yucatán, México

JOSE LUIS HERNANDEZ STEFANONI Juan Andrés Mauricio Fernando de Jesús Tun Dzul LUIS ANGEL HERNANDEZ MARTINEZ KARINA ELIZABETH GONZALEZ MUÑOZ VÍCTOR ALEXIS PEÑA LARA ERIC ANTONIO GAMBOA BLANCO (2023)

En este estudio se generaron mapas de la densidad de carbono y la riqueza de especies de árboles en la Reserva Ecológica Cuxtal, así como mapas bivariados para evaluar la relación espacial entre ambas variables. La correlación entre la densidad de carbono y la riqueza de especies en la reserva fue positiva con un valor de 89%. Además, el 16.9% de la superficie de la reserva presentó valores altos de carbono almacenado y riqueza de especies. Los resultados destacan la importancia de combinar mapas de carbono y riqueza de especies para identificar áreas relevantes para la conservación de la biodiversidad y el mantenimiento del servicio ecosistémico de almacenamiento de carbono.

Artículo

AREAS NATURALES PROTEGIDAS BIOMASA AEREA BOSQUES TROPICALES SECOS DIVERSIDAD DE ESPECIES BIOLOGÍA Y QUÍMICA CIENCIAS DE LA VIDA BIOLOGÍA VEGETAL (BOTÁNICA) ECOLOGÍA VEGETAL ECOLOGÍA VEGETAL

Cuantificación microlisimétrica del consumo de agua residual tratada en la nochebuena (Euphorbia pulcherrima Willd. ex Klotzsch)

VICTOR LOPEZ MARTINEZ MARIA ANDRADE RODRIGUEZ IRAN ALIA TEJACAL Sainz Aispuro Manuel de Jesús OSCAR GABRIEL VILLEGAS TORRES RAMON ARTEAGA RAMIREZ MARIO ALBERTO VAZQUEZ PEÑA (2016)

En un cultivo de nochebuena en un invernadero instrumentado en Jiutepec, Morelos, se midió el consumo de agua residual tratada (ART) con microlisímetros de succión de macetas de polietileno de 15 cm de diámetro con sustratos de granulometría similar N, V y A. El consumo de ART de la nochebuena puede ser afectado por tipo de planta y método de riego. En las semanas después del trasplante 2 (posterior al pinchado), 8, 9 y 10 (inicio de pigmentación) existen diferencias entre tratamiento y coincide con un periodo de disminución del consumo de ART. El microlisímetro de succión es una herramienta para cuantificar el consumo de ART en nochebuena.

Artículo

Demanda de agua Riego por succión Cápsula porosa Agricultura protegida CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA