Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

Economic development, transport investment, and urbanization in Mexico: causality and effects

Vicente German-Soto Alexsandra De la Peña Flores Karina García (2023, [Artículo, Artículo])

The transport investment is often used as a tool for economic development and urbanization. However, there is still debate about whether transport improvements promote development and urbanization or, conversely, these latter create the conditions that stimulate the transport. In theory, the transport system contributes to development and urbanization because it speeds up the exchange of goods and services, but the effects can also be reversed, so the direction of causality is not so easily identified. This work uses Mexican state information of the 1988-2018 period, grouped as panel, to know both magnitude and direction of the impacts. Methodology consists in cointegration tests and VECM regressions. The results reveal that long-term causality goes from economic development to transport and its subsectors, which means that economic development is a necessary condition to modernize transport in Mexico. For urbanization, the causality and magnitude of the effects vary depending on the transport subsector. The total economy and passenger sector’s investments cause urbanization, but transportation and subsectors of cargo carriers and communications estimate two-way causality. The conclusions suggest that urbanization depends on improvements in transportation and the latter, in turn, on economic development.

Desarrollo regional Transporte Economía urbana Causalidad Modelo VECM CIENCIAS SOCIALES CIENCIAS SOCIALES Economic development, Granger-Causality, VECM Models, Productivity, Urban Economics

Tasas de pastoreo diarias del zooplacton en una localidad costera de Baja California, México

Ma. Eugenia del Carmen Matus Hernández (1991, [Tesis de maestría])

En una localidad costera de la Bahia de Todos Santos se efectuaron muestreosdiarios durante 15 dias enjulio de 1990. El objetivo fue evaluar las tasas de pastoreo de los herbivoros dominantes (micro y macrozooplancton) sobre la biomasafitoplanct6nica. Las

Productividad primaria,Poblaciones de fitoplancton,Baja California,Ciencias del mar CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA CIENCIAS AGRARIAS PECES Y FAUNA SILVESTRE PECES Y FAUNA SILVESTRE

Rapid effects of marine reserves via larval dispersal

Richard Cudney Bueno (2009, [Artículo])

Marine reserves have been advocated worldwide as conservation and fishery management tools. It is argued that they can protect ecosystems and also benefit fisheries via density-dependent spillover of adults and enhanced larval dispersal into fishing areas. However, while evidence has shown that marine reserves can meet conservation targets, their effects on fisheries are less understood. In particular, the basic question of if and over what temporal and spatial scales reserves can benefit fished populations via larval dispersal remains unanswered. We tested predictions of a larval transport model for a marine reserve network in the Gulf of California, Mexico, via field oceanography and repeated density counts of recently settled juvenile commercial mollusks before and after reserve establishment. We show that local retention of larvae within a reserve network can take place with enhanced, but spatially-explicit, recruitment to local fisheries. Enhancement occurred rapidly (2 yrs), with up to a three-fold increase in density of juveniles found in fished areas at the downstream edge of the reserve network, but other fishing areas within the network were unaffected. These findings were consistent with our model predictions. Our findings underscore the potential benefits of protecting larval sources and show that enhancement in recruitment can be manifested rapidly. However, benefits can be markedly variable within a local seascape. Hence, effects of marine reserve networks, positive or negative, may be overlooked when only focusing on overall responses and not considering finer spatially-explicit responses within a reserve network and its adjacent fishing grounds. Our results therefore call for future research on marine reserves that addresses this variability in order to help frame appropriate scenarios for the spatial management scales of interest. © 2009 Cudney-Bueno et al.

article, environmental monitoring, fishery, larva, marine environment, marine species, Mexico, mollusc, nonhuman, oceanography, prediction, animal, biology, environmental protection, food industry, geography, growth, development and aging, larva, met CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA CIENCIAS DE LA TIERRA Y DEL ESPACIO OCEANOGRAFÍA OCEANOGRAFÍA

Modelo híbrido de sistemas energéticos para la evaluación del uso de energías renovables

Carlos Iván Torres González (2020, [Tesis de maestría])

En este trabajo proponemos un modelo híbrido para evaluar diferentes escenarios de generación de electricidad con energías renovables que maximiza el bienestar social desde la perspectiva económica contemplando un enfoque técnico sobre la estructura de costos de producción de electricidad. Adicionalmente, realizamos 2 simulaciones del modelo propuesto al sistema eléctrico de Baja California Sur para 10 períodos, contemplando 4 escenarios de producción limpia diferentes. De los resultados observados en ambas simulaciones podemos remarcar 2 puntos en términos de políticas públicas. El primer punto es la importancia de tener múltiples generadores que funcionen con combustibles renovables si se desea producir una proporción significativa de electricidad con FER. El segundo punto es el trade-off entre bienestar y emisiones de CO2. Los resultados sugieren que el aumento del consumo de electricidad es un elemento importante para aumentar el bienestar social. A su vez, el aumento de consumo eléctrico implica un aumento de producción, y por tanto un aumento de emisiones de CO2. Los resultados de la segunda simulación sugieren que con el aumento de la capacidad de generación limpia y costos eficientes, se pueden alcanzar niveles de bienestar casi iguales a los tradicionales, pero con la mitad de emisiones de CO2.

Electric power production -- Effect of renewable energy sources on -- Mexico -- Baja California Sur (State) -- 2015 -- Mathematical models. Carbon dioxide mitigation -- Effect of renewable energy sources on -- Mexico -- Baja California Sur (State) -- 2015 -- Mathematical models. CIENCIAS SOCIALES CIENCIAS SOCIALES

Protein retention assessment of four levels of poultry by-product substitution of fishmeal in rainbow trout (Oncorhynchus mykiss) diets using stable isotopes of nitrogen (δ15N) as natural tracers

DANIEL BADILLO ZAPATA (2014, [Artículo])

This is second part from an experiment where the nitrogen retention of poultry by-product meal (PBM) compared to fishmeal (FM) was evaluated using traditional indices. Here a quantitative method using stable isotope ratios of nitrogen (δ15N values) as natural tracers of nitrogen incorporation into fish biomass is assessed. Juvenile rainbow trout (Oncorhynchus mykiss) were fed for 80 days on isotopically distinct diets in which 0, 33, 66 and 100% of FM as main protein source was replaced by PBM. The diets were isonitrogenous, isolipidic and similar in gross energy content. Fish in all treatments reached isotopic equilibrium by the end of the experiment. Two-source isotope mixing models that incorporated the isotopic composition of FM and PBM as well as that of formulated feeds, empirically derived trophic discrimination factors and the isotopic composition of fish that had reached isotopic equilibrium to the diets were used to obtain a quantitative estimate of the retention of each source of nitrogen. Fish fed the diets with 33 and 66% replacement of FM by PBM retained poultry by-product meal roughly in proportion to its level of inclusion in the diets, whereas no differences were detected in the protein efficiency ratio. Coupled with the similar biomass gain of fishes fed the different diets, our results support the inclusion of PBM as replacement for fishmeal in aquaculture feeds. A re-feeding experiment in which all fish were fed a diet of 100% FM for 28 days indicated isotopic turnover occurred very fast, providing further support for the potential of isotopic ratios as tracers of the retention of specific protein sources into fish tissues. Stable isotope analysis is a useful tool for studies that seek to obtain quantitative estimates of the retention of different protein sources. © 2014 Badillo et al.

nitrogen 15, nitrogen, protein intake, animal behavior, animal experiment, animal food, animal tissue, aquaculture, Article, biomass, controlled study, energy metabolism, food composition, juvenile animal, nonhuman, poultry by product meal, protein a CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA CIENCIAS DE LA TIERRA Y DEL ESPACIO OCEANOGRAFÍA OCEANOGRAFÍA

Desarrollo y comercialización de adyuvantes herbolarios como alternativa terapéutica para el tratamiento del síndrome metabólico en adultos mexicanos. Evaluación de solicitud de patente y registro sanitario

SYLVIA ADRIANA PINAL CALVILLO (2023, [Tesis de maestría])

Este trabajo de tesis parte de la creciente preocupación global sobre la Epidemia

Metabólica, enfocándose en su prevalencia, impacto económico y las perspectivas

futuras en México. Se centra en la interconexión entre enfermedades metabólicas,

factores de riesgo compartidos y la respuesta a intervenciones comunes,

destacando la obesidad, diabetes y síndrome metabólico como ejes centrales.

Adicionalmente, examina la Medicina Ancestral y la estandarización en la

producción de remedios herbolarios como estrategias potenciales para mitigar esta

crisis.

El trabajo revisa los antecedentes de la Medicina Tradicional según la Organización

Mundial de la Salud (OMS), su uso en condiciones metabólicas, y su integración en

sistemas de salud. Se presta especial atención al uso de plantas medicinales en

México y a nivel global, resaltando la transferencia intercultural de conocimientos

herbolarios en la era de la globalización.

En el marco general, se establecen los objetivos del estudio y se detalla la

caracterización de productos herbales específicos para el tratamiento del síndrome

metabólico, se centra en el uso sinérgico de: Syzigium cumini, Coix lacryma-jobi, y

Mossanona depressa. Se analizan sus propiedades farmacológicas y usos en el

tratamiento de la diabetes y el síndrome metabólico.

La sección de formalización comercial aborda la constitución de la sociedad, los

registros ante el Instituto Mexicano de Propiedad Intelectual (IMPI) y la Comisión

Federal para la Protección contra Riesgos a la Salud (COFEPRIS), la determinación

de patentabilidad, y las estrategias de protección de propiedad intelectual.

Finalmente, el estudio concluye con recomendaciones para la mejora regulatoria en

este campo y detalla la tramitología necesaria para la implementación de estas

estrategias. La investigación subraya la importancia de integrar la medicina

tradicional en los sistemas de salud modernos para combatir la epidemia

metabólica, especialmente en contextos como el de México.

BIOLOGÍA Y QUÍMICA CIENCIAS DE LA VIDA Epidemia metabólica, medicina ancestral México, Herbario Mundial, obesidad, diabetes, síndrome metabólico, tratamiento herbolario, factores riesgo metabólicos, intervenciones epidemia metabólica, carga económica Salud México, remedios naturales diabetes, integración medicina tradicional, OMS Medicina Tradicional, plantas medicinales metabólicas, Syzigium cumini, Coix lacryma-jobi, Mossanona depressa, Propiedad Intelectual Herbolarios, Registro COFEPRIS, Patentabilidad Productos Naturales, Legislación Mexicana Salud, Mejora Regulatoria Medicina Tradicional.