Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

Génesis de la poesía buñueliana (el método preconsciente)

ANUAR FERNANDO GONZALEZ AMAYA (2023, [Tesis de doctorado])

"Por lo que respecta a los tres capítulos de esta tesis, nuestro objetivo primordial es reafirmar a través de un caso concreto, la visión del mundo personal de Luis Buñuel, la validez o universalidad del método: el arte buñuelesco, célebre por su singular filmografía, surge de dicha visión del mundo, un símbolo u originado simbólico de la coyuntura histórica, susceptible de ser analizado, únicamente, con las ecuaciones o procesos preconscientes, disponibles en el método. Objetivo que nos exige, además, analizar por qué, desde que Bousoño terminó de redondearlo, en Épocas literarias (1981), se ha omitido estudiar a Buñuel con tal herramienta. Pero, para hacerlo, necesitamos exponerla en lo sustancial, en lo básico, es decir, casi extraída de los ejemplos concretos en que el autor se adentró en el fenómeno, primordialmente, líricos."

Buñuel Portolés, Luis Poesía española -- Historia y crítica Método preconsciente -- Poesía buñueliana Arte buñuelesco HUMANIDADES Y CIENCIAS DE LA CONDUCTA HUMANIDADES Y CIENCIAS DE LA CONDUCTA

Seguimiento y evaluación en 2,000 hectáreas incorporadas al proyecto de riego por gravedad tecnificado en el distrito de riego 043 estado de Nayarit

FELIPE ZATARAIN MENDOZA CARLOS FUENTES RUIZ (2017, [Documento de trabajo])

Tabla de contenido: Introducción -- 1. Difusión y promoción del proyecto -- 2. Proyectos de nivelación de tierras -- 3. Diseño y evaluación del riego -- 4. Seguimiento del riego en tiempo real -- 5. Medición y cobro volumétrico del agua a nivel parcelario -- Conclusiones.

Introducción -- 1. Difusión y promoción del proyecto -- 2. Proyectos de nivelación de tierras -- 3. Diseño y evaluación del riego -- 4. Seguimiento del riego en tiempo real -- 5. Medición y cobro volumétrico del agua a nivel parcelario -- Conclusiones.

Riego de superficie Riego por aspersión Uso eficiente del agua Capacitación INGENIERÍA Y TECNOLOGÍA

Conflictos hídricos: lecciones para el presente

ADRIAN PEDROZO ACUÑA (2021, [Artículo])

doi.org/10.24850/b-imta-perspectivas-2021-02

La magnitud y el número de conflictos hídricos que se están registrando en todo el mundo señalan la necesidad de utilizar el conocimiento de punta y la capacidad tecnológica y social de las instituciones de investigación para asistir a todas las personas atrapadas en conflictos hídricos. En México, tan solo el año pasado, fuimos testigos de conflictos hídricos en la cuenca del río Bravo por los volúmenes de agua compartidos en una cuenca por diversos usuarios. Estas son tan solo unas facetas de la realidad de los conflictos hídricos que se están presentando en el mundo y, sin duda, constituyen un indicador de la necesidad de nuevos paradigmas para la gestión del agua, ya que es imposible continuar aceptando el gran impacto que estas tensiones generan sobre las vidas de millones de personas y ecosistemas que dependen de los flujos de agua. Estos conflictos tienen su origen en la desecación de ríos, la sobreexplotación de acuíferos y, desde luego, la falta de atención a dimensiones sociales, como la equidad y la justicia.

Conflictos por agua Gestión del agua Explotación de recursos naturales INGENIERÍA Y TECNOLOGÍA

Filtración de aguas residuales con contaminantes recalcitrantes para remoción de macronutrientes : primera etapa

Marco Antonio Garzón-Zúñiga VIOLETA ERENDIRA ESCALANTE ESTRADA (2011, [Documento de trabajo])

El objetivo global de proyecto es determinar el efecto de diferentes variables (carga orgánica, carga hidráulica, granulometría, aireación, etc.) sobre la remoción de macronutrientes de aguas residuales utilizando biopelículas inmovilizadas en diferentes medios (inertes, orgánicos y membranas semipermeables).

Tratamiento de aguas residuales Filtración por membranas Filtros biológicos Filtración aerobia Filtración anaerobia Informes de proyectos INGENIERÍA Y TECNOLOGÍA

Seguimiento y evaluación en 2,000 hectáreas incorporadas al proyecto de riego por gravedad tecnificado en 2014 en el distrito de riego 043 estado de Nayarit

FELIPE ZATARAIN MENDOZA CARLOS FUENTES RUIZ (2016, [Documento de trabajo])

Se presentan los resultados obtenidos en el ciclo agrícola 2015-216, en el programa desarrollado para la tecnificación de 2,000 hectáreas. Para el cumplimiento se llevaron a cabo las siguientes acciones: asistencia técnica y capacitación; diseño y trazo del riego por gravedad; entrega y cobro volumétrico del agua a los usuarios; pronóstico de riego en tiempo real; y evaluación del riego.

Riego de superficie Riego por aspersión Uso eficiente del agua Capacitación INGENIERÍA Y TECNOLOGÍA

Capacitación en el programa "Del conflicto potencial al potencial de cooperación" del Programa Hidrológico Internacional de la UNESCO

Rita Vázquez del Mercado Arribas Javier Lambarri Beléndez Rosalinda Uribe Gemma Millán DENISE SOARES ROBERTO ROMERO PEREZ MARÍA ELENA RIVERO BUSTOS (2012, [Documento de trabajo])

Se presentan las acciones tomadas para alcanzar los siguientes objetivos: 1) capacitar a siete especialistas del IMTA en el programa "Del conflicto potencial al potencial de cooperación"; 2) sistematizar la información hemerográfica y documental sobre cuatro casos de conflictos hídricos en México; 3) elaborar material didáctico sobre análisis y caracterización de conflictos hídricos; y 4) organizar un taller de análisis y caracterización de conflictos hídricos en México.

Conflictos por agua Solución de conflictos Capacitación Informes de proyectos CIENCIAS SOCIALES

Guía para la construcción de consensos en la gestión integrada del agua

Sergio Vargas Velázquez ALBERTO GUITRON DE LOS REYES CIPRIANA HERNANDEZ ARCE (2010, [Libro])

Tabla de contenido: Prefacio -- 1. La situación del agua en México -- 2. Transformación del arreglo institucional mexicano -- 3. Caracterización de los conflictos por el agua -- 4. Opciones para la resolución de conflictos -- 5. Identificación de las posiciones a negociar -- 6. Herramientas para el consenso y la participación de los grupos de interés -- 7. Herramientas de apoyo para el análisis del problema hidrológico -- 8. Formalización de acuerdos -- Reflexión final.

Esta guía tiene como principal objetivo apoyar el diseño de estrategias para la intervención en conflictos por el agua en cuencas y acuíferos, con base en los principios de mediación, como una de las técnicas de no enfrentamiento más versátiles para la resolución de conflictos, en sistuaciones sociales en las que se confrontan percepciones, intereses y necesidades de diversos grupos de interés organizados en una escala regional.

Prefacio -- 1. La situación del agua en México -- 2. Transformación del arreglo institucional mexicano -- 3. Caracterización de los conflictos por el agua -- 4. Opciones para la resolución de conflictos -- 5. Identificación de las posiciones a negociar -- 6. Herramientas para el consenso y la participación de los grupos de interés -- 7. Herramientas de apoyo para el análisis del problema hidrológico -- 8. Formalización de acuerdos -- Reflexión final.

Gestión de cuencas Gestión integrada de recursos hídricos Conflictos por agua CIENCIAS SOCIALES

Escalamiento de las ecuaciones del flujo del agua subterránea mediante filtrado de Butterworth

ALVARO ALBERTO ALDAMA RODRIGUEZ MIGUEL MEJIA Roger Beckie (2006, [Artículo])

El flujo de agua y el transporte de solutos en medios geológicos se desarrollan en muchas escalas de longitud (poros del orden de milímetros hasta regiones que tienen kilómetros de longitud). Por lo mismo, hay escalas demasiado pequeñas para ser resueltas mediante un modelo o para ser observadas con los aparatos convencionales de medición. Aun cuando no es factible desarrollar modelos que resuelvan todas las escalas significantes, sí es posible desarrollar modelos de la dinámica de las escalas grandes. Estos modelos de escala grande no requieren la descripción explícita de las escalas pequeñas, pero deben incluir el efecto de las escalas pequeñas en la dinámica de las escalas grandes. La incorporación de tales efectos requiere la solución de un problema de cerradura. Por medio del uso de filtros de Butterworth se desarrolla una solución exacta para el problema de cerradura para el flujo del agua en un medio poroso con gran heterogeneidad. Se incluyen pruebas numéricas que validan los resultados teóricos.

Flujo de agua Medios porosos Transporte de solutos CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA

Corales vivos: diseño editorial como medio de divulgación científica en San Miguel, Cozumel

VÍCTOR IVÁN MORENO RODRÍGUEZ (2023, [Otro, Trabajo terminal, especialidad])

La Isla de Cozumel ha sido un lugar de cambios. De ser una isla ritual y de relajación –culto a la

diosa Ixchel– a ser un atractivo turístico. Sin embargo, Cozumel no sólo es objeto de diversión y

relajación, también de una abundante vida científica que ha logrado desarrollarse y coexistir con

la comunidad, formando parte tanto de sus pobladores como de sus visitantes, atrayendo a mucha

gente, no solo por su belleza, sino por su biodiversidad y su quehacer científico.

Hasta mediados de los años cincuenta (1950), la Isla de Cozumel pudiera considerarse poco

explorada y explotada; si bien hay indicios de culturas como la maya que la habían poblado tiempo

atrás (900 D.C.), así como de la intervención española, incluso antes de la llegada de Cortés a

América (1518), solo unos cuántos nativos, descendientes de mestizos escapando de la guerra de

castas la habitaban y explotaban sus recursos con base en la pesca y comercialización del cedro

(Sánchez, 2020).

Se cree que sus playas comenzaron a popularizarse a raíz de las declaraciones del buzo y

oceanógrafo francés Jacques-Yves Cousteau, quien consideraba a Cozumel como uno de los

mejores lugares para ejercer el buceo, ya que sus aguas turquesas otorgaban las condiciones ideales

para la exploración marina, tanto profesional como recreativa. Particularmente, una de las cosas

que más destacaba de Cozumel eran los arrecifes de coral.

Desde principios de los años ochenta, los arrecifes de coral en todo el mundo se encuentran

en una carrera contra reloj por su supervivencia. En particular, la barrera de corales

mesoamericana, de la cual forma parte Cozumel, sufrió episodios importantes del denominado

blanqueamiento o bleaching en 1983, 1998 y 2005, ya que sufrió una pérdida de alrededor del

cincuenta por ciento de corales vivos (Wilkinson, 2008).

A grandes rasgos, esta afección provoca que el pólipo del coral, que es el tejido vivo de la

colonia, se estrese y se vuelva transparente, dejando ver la estructura blanca calcificada (de ahí el nombre). Sin embargo, si las condiciones óptimas se restablecen relativamente rápido, los pólipos,

que conforman la parte superficial y viva del coral, pueden sobrevivir.

Por otro lado, una afección más reciente es la Enfermedad de Pérdida de Tejido de Coral

Duro (Stony Coral Tissue Loss Disease o SCTLD por sus siglas en inglés), documentada

inicialmente en las costas de Florida en 2014 y que se confirmó en las costas de México en 2018.

Dicha enfermedad es similar al blanqueamiento y se puede confundir. No obstante, el SCTLD es

mortal para determinadas especies, algunas de gran importancia ecológica por ser constructoras de

arrecifes, como los corales cerebro (Pseudodiploria strigosa), el coral cuerno de alce (Acropora

Palmata) entre otros, pudiendo matar una colonia entera en cuestión de semanas. Desde 2018 a la

actualidad, esta enfermedad se ha logrado extender por toda la región sur de México, la cual forma

parte del Sistema Arrecifal Mesoamericano (SAM), que se extiende desde la Península de Yucatán

hasta Honduras.

CIENCIAS SOCIALES DEMOGRAFÍA