Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

Estudio experimental con modelos físicos para generación de criterios de peligro por inundación y para caracterización de efectos del arrastre de sólidos sobre estructuras de cruce en ríos de zonas urbanas

JUAN ANTONIO LOPEZ OROZCO MANUEL MARTINEZ MORALES Cecia Millán-Barrera (2015, [Documento de trabajo])

El objetivo de este estudio es generar nomogramas de vulnerabilidad por inundaciones, aplicado a peatones, para la construcción de mapas de peligro integrales que consideren tirante máximo, velocidad máxima, estabilidad al vuelco y estabilidad al deslizamiento. De igual manera, se evalúan los efectos del flujo en el peatón en un módulo de una calle a escala real (1:1) variando los parámetros.

Ríos Control de inundaciones Simulación Zonas urbanas INGENIERÍA Y TECNOLOGÍA

Trazos de Existencias : Neoliberalismo, guerras no-convencionales y drogas en un espacio urbano. (Una reflexión con Michel Foucault)

Roberto García Salgado (2023, [Tesis de doctorado])

La presente investigación está acompañada por el pensamiento de Michel Foucault, mediante este hilo conceptual se analizó el proceso del neoliberalismo, las guerras no-convencionales y las drogas en un espacio urbano de la Ciudad de México. El entorno de la llamada Guerra, es centralmente el de las Guerras contra las drogas («GCD»), en las que se han examinado, como efectualidad de la excedencia propia de la economía postfordista las forma de control de la multitud. Tal análisis problematizó la noción de exclusión en la rutilante economía desregularizada en la que los consumidores de drogas son considerados, a través de la integración marginalista, cuerpos necesarios para la optimización productivista y la optimización de lo vivo en el marco neoliberal cuya finalidad es evitar la alianza social y ralentizar o imposibilitar plenamente las formas de organización que vayan en contra de la demandada acumulación del nuevo régimen de producción. De esta forma, se realiza la reflexión de las condiciones particulares bajo las cuales emergen y se transforman las prácticas de consumo de drogas en la singularidad urbana y las técnicas de la administración de la vida y el dejar morir de los consumidores mediante la multiplicación de dispositivos (biopolíticos y securitarios) como la precariedad y la racialización –no biológica- que caracterizan la forma de gobierno neoliberal de la empresa-competencia constitutiva de las <<GCD>>.

Foucault, Michel, 1926-1984 -- Influencia Neoliberalismo -- Aspectos Sociales Control de Drogas -- México CIENCIAS SOCIALES SOCIOLOGÍA PROBLEMAS SOCIALES PROBLEMAS SOCIALES

Editorial: Genome wide association studies and genomic selection for crop improvement in the era of Big Data

Alison Bentley Charles Chen Nunzio D'Agostino (2022, [Artículo])

Allele Mining High-Throughput Phenotyping Genomic Estimated Breeding Value CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA CROP IMPROVEMENT DNA CHROMOSOME MAPPING GENETIC LINKAGE GENOMES GENOTYPING GERMINATION HEAT STRESS QUALITY CONTROL SINGLE NUCLEOTIDE POLYMORPHISM TRITICUM AESTIVUM GENETIC DIVERSITY (AS RESOURCE) HIGH-THROUGHPUT SEQUENCING

Estudio experimental con modelos físicos para generación de criterios de peligro por inundación y para caracterización de efectos del arrastre de sólidos sobre estructuras de cruce en ríos de zonas urbanas : parte 2 : estudio experimental para la caracterización del efecto del arrastre de sólidos en flujos a superficie libre con estructuras de cruce en ríos de zonas urbanas

XOCHITL PEÑALOZA RUEDA José Alfredo González Verdugo MARIA JOSELINA CLEMENCIA ESPINOZA AYALA (2015, [Documento de trabajo])

Dada la necesidad de proponer estrategias para evitar inundaciones causadas por la construcción de estructuras de cruce, se llevó a cabo un estudio experimental con modelos físicos para la caracterización del efecto del arrastre de sólidos (madera) en flujos a superficie libre, con estructuras de cruce en zonas urbanas. Esto con el objetivo de generar una metodología para establecer las propiedades de las estructuras de cruce ante el efecto de arrastre de sólidos, y así garantizar el correcto funcionamiento hidráulico. Específicamente, para determinar el claro o separación mínima entre pilas, con el cual se evite o reduzca la posibilidad de acumulación de material leñoso entre las mismas.

Ríos Control de inundaciones Zonas urbanas INGENIERÍA Y TECNOLOGÍA

Sistema de alerta preventiva ante la ocurrencia de inundaciones causadas por desbordamiento de canales en zonas urbanas

RODRIGO ULISES SANTOS TELLEZ OSCAR JESUS LLAGUNO GUILBERTO Indalecio Mendoza Uribe Miguel Angel Vazquez Zavaleta José Manuel Rodríguez Varela Velitchko Tzatchkov (2019, [Documento de trabajo])

El objetivo del proyecto es generar un sistema de alerta preventiva ante la inminencia de un desbordamiento en cauces para zonas urbanas que, a través de una red de sensores de nivel instalados en puntos estratégicos del cauce, la medición de la precipitación en la cuenca de aporte y el pronóstico del comportamiento de la misma, permita a las autoridades, cuerpos de emergencia y población en general conocer en tiempo real, a través de una aplicación para Smartphone, el comportamiento del nivel en dicho cauce (o cauces) que pudieran causar afectaciones a la comunidad y poner en riesgo la vida de los habitantes.

Control de inundaciones Sistemas de alerta Zonas urbanas INGENIERÍA Y TECNOLOGÍA

Estimación de parámetros de infiltración a partir de mediciones de avance de riego por melgas empleando las ecuaciones de Saint-Venant, y Green y Ampt

Heber Saucedo MANUEL ZAVALA TREJO CARLOS FUENTES RUIZ (2016, [Artículo])

Se presenta un método para realizar la estimación de parámetros de infiltración con base en el empleo de las ecuaciones de Saint-Venant para describir el flujo del agua sobre el suelo, y la ecuación de Green y Ampt para representar el flujo del agua en el suelo. La estimación de los parámetros hidrodinámicos de conductividad hidráulica a saturación y presión en el frente de humedad, se realiza aplicando el método Levenberg-Marquardt. El modelo así obtenido, permite el ajuste de los parámetros hidrodinámicos a partir de datos de pruebas de avance de riego por melgas y de la textura del suelo.

Riego por inundación controlada Modelos matemáticos Método Levenberg-Marquardt CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA

Multi-trait, multi-environment deep learning modeling for genomic-enabled prediction of plant traits

Osval Antonio Montesinos-Lopez Jose Crossa Francisco Javier Martin Vallejo (2018, [Artículo])

Deep Learning Genomic Prediction Bayesian Modeling Shared Data Resources CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA BAYESIAN THEORY RESOURCES DATA BREEDING PROGRAMMES

Multi-environment genomic prediction of plant traits using deep learners with dense architecture

Osval Antonio Montesinos-Lopez Jose Crossa (2018, [Artículo])

Shared Data Resources Deep Learning Genomic Prediction CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA ACCURACY GENOMICS NEURAL NETWORKS FORECASTING DATA MARKER-ASSISTED SELECTION

Establecimiento de un programa de control integral de lirio acuático en la laguna de Zapotlán, Jalisco

MARICELA MARTINEZ JIMENEZ (2018, [Documento de trabajo])

Introducción – Metodología: Presentación del proyecto; Asesoría a la Comisión Estatal del Agua de Jalisco; Evaluación de la cobertura de lirio acuático en la laguna de Zapotlán, Jalisco; Cría masiva y liberación de insectos en la laguna de Zapotlán; Producción masiva de Acremonium zonatum; Evaluación de biomasa y densidad de lirio acuático en la laguna de Zapotlán; Evaluación toxicológica – Resultados: Producción y liberación de insectos en la laguna de Zapotlán, Jalisco; Aspersiones del hongo Acremonium zonaturm; Evaluación de biomasa y densidad de lirio acuático en la laguna de Zapotlán; Evaluación de la cobertura de lirio acuático en la laguna de Zapotlán, Jalisco; Discusión – Recomendaciones.

Especies invasoras Impacto ambiental Control de malezas Control biológico BIOLOGÍA Y QUÍMICA