Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

¿Por qué ocurren variaciones de nivel en el lago de Tequesquitengo? 2. Simulación de eventos en el siglo XIX

CARLOS GUTIERREZ OJEDA (2004, [Artículo])

En el siglo XIX, el lago de Tequesquitengo (Morelos, México) tenía un nivel de agua de aproximadamente 20 metros por debajo del actual; entre 1820 y 1865 el nivel subió y dejó bajo el agua al pueblo que había en sus orillas. La explicación que se ha dado a este fenómeno se relaciona con un trasvase y un sistema de riego construidos en esa época. En la primera parte de este trabajo se aborda, mediante la modelación matemática, el estudio de la interacción existente entre el lago y el acuífero subyacente, dada la evidente relación que existe entre ellos. Como resultado se logra una calibración de una zona del acuífero que rodea al lago, de modo que se reproducen con precisión los niveles observados en el lago y, de forma aproximada, las isolíneas del nivel del agua subterránea (manto freático). Se hacen recomendaciones sobre posibles soluciones al descenso del nivel del lago. En la segunda parte se aborda lo relacionado con los eventos del siglo XIX. Luego de construir un escenario que pudiera semejarse a las condiciones naturales de esa época, se prueban dos variantes que reflejan la acción del trasvase y el sistema de riego sobre el acuífero y el lago, obteniéndose las conclusiones pertinentes. Posteriormente se analiza la variante que se relaciona con una posible recarga natural accidental desde el acuífero profundo.

Lagos Aguas superficiales Modelos matemáticos Simulación Lago de Tequesquitengo CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA

Segunda etapa del estudio para restituir y mejorar la capacidad de conducción, mediante un manejo adecuado del aire y optimización del funcionamiento hidráulico, en las líneas 1 y 2 del Sistema Cutzamala

RODRIGO ULISES SANTOS TELLEZ Velitchko Tzatchkov OSCAR JESUS LLAGUNO GUILBERTO José Manuel Rodríguez Varela JOSE CARLOS MARTINEZ PEREZ (2018, [Documento de trabajo])

El objetivo principal de este estudio fue identificar la razón de la disminución de la capacidad de conducción de la línea 1 y 2 y proponer alternativas para recuperar dicha capacidad. Los tramos de TSI-TP y TP-TASJ operan por debajo de su capacidad de conducción y tienen una parte operando como canal. El “cuello de botella” está en el tramo TO5-TSI en el cual se puede presentar alguna de las siguientes situaciones: aire atrapado; obstrucciones físicas en la tubería; alta rugosidad de las paredes de la conducción.

Redes de distribución de agua Válvulas de aireación Operación y mantenimiento Modelos matemáticos INGENIERÍA Y TECNOLOGÍA

Análisis de la precipitación inducida por forzamiento orográfico, ante el paso de frentes fríos en la porción norte de Chiapas y Sierra de Tabasco

JORGE ENRIQUE HERNANDEZ CARRILLO (2019, [Tesis de maestría])

Tesis (Maestro en Ciencias y Tecnología del Agua) -- Instituto Mexicano de Tecnología del Agua. Coordinación de Desarrollo Profesional e Institucional. Subcoordinación de Posgrado.

El objetivo de la investigación fue verificar de forma objetiva la metodología empírica de pronóstico utilizada en el CHMRTG, mediante el uso de técnicas estadísticas que identifiquen el grado asociación de las variables modeladas de razón de mezcla y viento, con la lámina de precipitación observada, debido al paso de frentes fríos en la porción norte de Chiapas y la sierra de Tabasco. En función de los resultados, recomendar su uso o desestimación de dicha herramienta, en el análisis y pronóstico meteorológico.

Factores meteorológicos Medidas de precipitación Modelos matemáticos CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA

Daily rainfall interpolation models obtained by means of genetic programming

Modelos de interpolación de precipitación diaria obtenidos a partir de programación genética.

MARITZA LILIANA ARGANIS JUAREZ KATYA RODRIGUEZ VAZQUEZ (2015, [Artículo])

Se aplicó el algoritmo de cómputo evolutivo de programación genética (PG) para obtener modelos matemáticos de interpolación de precipitación diaria en una estación climatológica, utilizando datos medidos en las estaciones cercanas a la cuenca del Río Cutzamala en México. Los modelos obtenidos toman en cuenta tanto las coordenadas geográficas de las estaciones climatológicas como su elevación; la respuesta de los modelos se comparó contra los resultados obtenidos con ayuda de regresiones lineales múltiples, presentando un mejor desempeño programación genética. Adicionalmente, se construyeron mapas de isoyetas para comparar las formas espaciales entre los datos de precipitación medidos y calculados en la cuenca del río Cutzamala para una tormenta máxima histórica registrada en el año 2006, observándose concordancia en los resultados en el caso de precipitaciones mayores de 23 mm. La programación genética representa una herramienta de utilidad práctica para aproximar modelos matemáticos de variables aplicadas en problemas de ingeniería y se pueden obtener nuevos modelos en distintas cuencas al aplicar estos algoritmos.

Medidas de precipitación Programación genética Modelos matemáticos CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA

Economic development, transport investment, and urbanization in Mexico: causality and effects

Vicente German-Soto Alexsandra De la Peña Flores Karina García (2023, [Artículo, Artículo])

The transport investment is often used as a tool for economic development and urbanization. However, there is still debate about whether transport improvements promote development and urbanization or, conversely, these latter create the conditions that stimulate the transport. In theory, the transport system contributes to development and urbanization because it speeds up the exchange of goods and services, but the effects can also be reversed, so the direction of causality is not so easily identified. This work uses Mexican state information of the 1988-2018 period, grouped as panel, to know both magnitude and direction of the impacts. Methodology consists in cointegration tests and VECM regressions. The results reveal that long-term causality goes from economic development to transport and its subsectors, which means that economic development is a necessary condition to modernize transport in Mexico. For urbanization, the causality and magnitude of the effects vary depending on the transport subsector. The total economy and passenger sector’s investments cause urbanization, but transportation and subsectors of cargo carriers and communications estimate two-way causality. The conclusions suggest that urbanization depends on improvements in transportation and the latter, in turn, on economic development.

Desarrollo regional Transporte Economía urbana Causalidad Modelo VECM CIENCIAS SOCIALES CIENCIAS SOCIALES Economic development, Granger-Causality, VECM Models, Productivity, Urban Economics

Dinámica de los mantos freáticos someros en los distritos de riego

Shallow water table dynamics in irrigation districts

pedro lazaro HECTOR MANUEL ORTEGA ESCOBAR LUIS RENDON PIMENTEL FELIPE ZATARAIN MENDOZA (2000, [Artículo])

Se presenta un modelo numérico para simular la transferencia de agua en los mantos freáticos someros. El modelo se basa en la ecuación diferencial que resulta de la integración de la ecuación de Richards en la dirección vertical. El esquema numérico para la solución de la ecuación se obtiene de la integración de ésta utilizando el método del elemento finito en el espacio y un esquema centrado en diferencias finitas en el tiempo. El dominio de solución utilizado en la construcción, calibración y aplicación del modelo es el Distrito de Riego 076 Valle del Carrizo ubicado al norte del Edo. de Sinaloa, México. La aplicación del modelo se efectuó en dos etapas: la primera es una simulación inversa para estimar el flujo de recarga en diferentes intervalos y la segunda es una simulación directa de la respuesta del sistema para diversos escenarios. Los resultados permiten concluir que el modelo es útil para fines de planificación.

Distritos de riego Recarga de acuíferos Modelos matemáticos Simulación INGENIERÍA Y TECNOLOGÍA

Estimación de parámetros del consumo instantáneo de agua potable de lecturas acumuladas

Instantaneous water demand parameter estimation from accululated readings

VICTOR HUGO ALCOCER YAMANAKA Velitchko Tzatchkov (2009, [Artículo])

El consumo de agua potable a nivel doméstico tiene carácter estocástico, caracterizado por la intensidad, duración y frecuencia de los pulsos de demanda; cada una de ellas representada estadística mente. Estos parámetros se pueden obtener por medio de medición directa de la demanda instantánea, pero esta forma necesita mediciones con registro de cada segundo, por lo que genera una enorme cantidad de datos por manejar. En este artículo se presenta un nuevo método para estimar los parámetros para la generación de las series de consumo, con base en mediciones con intervalos mayores a un segundo. El método propuesto considera principios del proceso de Neyman-Scott (N-S) en la desagregación temporal del volumen acumulado.

Abastecimiento de agua Consumo doméstico de agua Modelos matemáticos INGENIERÍA Y TECNOLOGÍA

Medición del flujo de agua

José Javier Ramírez Luna ULISES DEHESA CARRASCO (2016, [Libro])

La gran mayoría de las zonas agrícolas de México y del mundo cuentan con sistemas de riego por gravedad en donde se entrega el servicio de riego en regaderas que funcionan en flujo a superficie libre. La medición del agua en la parcela se puede hacer con tecnología comercial a costos sumamente elevados si se determina el caudal continuamente para el cobro del servicio de riego por volumen. Aun así, el costo de la medición puntual es elevada si se considera el desplazamiento al sitio, el recorrido de la red de distribución, el costo del uso del vehículo y del combustible y el pago del ingeniero que realiza los aforos. De este hecho, el volumen así estimado no es válido en el cobro del servicio de riego por volumen. Este documento aporta una solución al problema de medir el flujo a superficie libre y promover la entrega y cobro del servicio de riego por volumen. La solución consiste en una propuesta de ecuaciones de caudal para vertedores, incluidos los aforadores de garganta larga, en régimen de descarga ahogada o libre y también para compuertas deslizantes. El documento presenta el desarrollo tecnológico de medidores del tipo SOLO que sirve para medir una carga aguas arriba y relacionarla con la ecuación de caudal en un vertedor o aforador funcionando a descarga libre. Se presenta también el tipo DUO para medir una carga aguas arriba y aguas abajo, para medir el caudal en un vertedor o aforador a descarga ahogada, o bien para medir la carga aguas arriba y la apertura en el caso de una compuerta deslizante a descarga libre. Final mente está el tipo TRIO para medir carga aguas arriba, aguas abajo y apertura de compuerta en el caso de compuerta deslizante a descarga ahogada.

Canales de irrigación Medición de caudales Modelos matemáticos Aplicación en campo INGENIERÍA Y TECNOLOGÍA

Modelación sistémica del uso eficiente del agua

FELIPE IGNACIO ARREGUIN CORTES VICTOR HUGO ALCOCER YAMANAKA (2004, [Artículo])

Se presenta un modelo matemático de optimización para determinar la cantidad mínima de agua de primer uso que debería abastecerse a un sistema hidráulico (urbano, agrícola, industrial o de cuenca), considerando las demandas específicas de cada usuario, la calidad de las aguas residuales con y sin tratamiento, las fugas, el reúso y cualquier número de contaminantes del agua. Se utilizó como plataforma de optimización el programa General Algebraic Modeling System. El modelo desarrollado se aplicó a la ciudad de Cuernavaca y se generaron varios escenarios, a fin de satisfacer las necesidades de todos los usuarios en cantidad y calidad para diferentes condiciones de funcionamiento de las plantas de tratamiento de aguas residuales existentes, la construcción de las obras necesarias para tratar todas las aguas residuales y utilizar el agua en forma óptima dentro del sistema; trabajándose también en el control de fugas.

Uso eficiente del agua Técnicas de optimización Modelos sistémicos INGENIERÍA Y TECNOLOGÍA