Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

MLN disease diagnostics, MLN disease-free seed production and MLN disease management

Suresh L.M. (2022, [Objeto de congreso])

CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA DISEASES DISEASE MANAGEMENT SEED PRODUCTION MAIZE NECROSIS YIELD LOSSES ECONOMIC IMPACT SURVEILLANCE SYSTEMS TRAINING

Distribución de la variación genética de insectos asociados a Hesperoyucca whipplei en la península de Baja California

Distribution of genetic variation of insects associated with Hesperoyucca whipplei in the Baja California peninsula

Roberto Suárez Hernández (2024, [Tesis de maestría])

El tipo de interacción ecológica obligada entre plantas hospederas y sus insectos asociados ha demostrado tener un impacto en la diversidad genética de las especies involucradas. La yuca de chaparral, Hesperoyucca whipplei, presenta una relación de mutualismo obligado con la polilla polinizadora Tegeticula maculata, y de comensalismo obligado con la polilla Prodoxus marginatus. Ambos insectos depositan sus huevos en estructuras de la flor y se alimentan del fruto en desarrollo. Con el fin de determinar el efecto de la interacción ecológica sobre la diversidad genética de los insectos, en este estudio se evaluó el nivel de variación y estructura genética de ambas polillas a lo largo de la península de Baja California. Se amplificó el gen mitocondrial COI en 86 individuos de T. maculata y 120 individuos de P. marginatus. La diversidad haplotípica fue menor en T. maculata (Hd = 0.601) en comparación con P. marginatus (Hd = 0.966) mientras que la diversidad nucleotídica fue baja en ambas especies (Pi= 0.0018 y 0.007 respectivamente). Las redes haplotípicas, el AMOVA, la prueba mismatch y los valores D de Tajima en T. maculata indican un patrón de expansión poblacional, mientras que en P. marginatus indican una estabilidad demográfica. Estos hallazgos sustentan que el mutualismo obligado entre H. whipplei y T. maculata, en contraste con el comensalimo obligado con P. marginatus, tiene un impacto directo en el nivel de la diversidad genética de las polillas, más que en su estructura a lo largo del área de distribución.

The type of obligate ecological interaction between host plants and their associated insects has been showing to have an impact on the genetic diversity of the species involved. The chaparral yuca (Hesperoyucca whipplei) presents a relationship of obligate mutualism with the pollinating moth Tegeticula maculata, and obligate commensalism with the moth Prodoxus marginatus. Both insects deposit their eggs in flower structures and feed on the developing fruit. To determine the effect of ecological interactions on insects’ genetic diversity, this study evaluated the level of variation and genetic structure of both moths throughout the Baja California peninsula. The mitochondrial COI gene was amplified in 86 individuals of T. maculata and 120 individuals of P. marginatus. Haplotypic diversity was lower in T. maculata (Hd = 0.601) compared to P. marginatus (Hd = 0.966) while nucleotide diversity was low in both species (pi = .0018 and 0.007 respectively). Haplotype networks, AMOVA, mismatch test and Tajima’s D values in T. maculata indicate a pattern of population expansion, whereas in P. marginatus they indicate demographic stability. These findings support that obligate mutualism between H. whipplei and T. maculata, in contrast, to obligate commensalism with P. marginatus, has a direct impact on the level of genetic diversity of the moths, rather than on their structure across the distribution.

mutualismo, comensalismo, filogeografía comparativa, polillas mutualism, commensalism, comparative phylogeography, moth BIOLOGÍA Y QUÍMICA CIENCIAS DE LA VIDA BIOLOGÍA DE INSECTOS (ENTOMOLOGÍA) ECOLOGÍA DE LOS INSECTOS ECOLOGÍA DE LOS INSECTOS

On-farm storage loss estimates of maize in Kenya using community survey methods

Hugo De Groote Anani Bruce (2023, [Artículo])

Maize is the most important staple in sub-Saharan Africa (SSA), with highly seasonal production. High storage losses affect food security, but good estimations are lacking. A new method using focus group discussions (FGDs) was tested with 121 communities (1439 farmers, 52% women) in Kenya's six maize-growing zones, to estimate the maize losses to storage pests and analyze farmer practices. As control strategies, half of the farmers used chemical pesticides (49%), while hermetic bags (16%) and botanicals (15%) were also popular. Relative loss from weevils in the long rains was estimated at 23%, in the short rains 18%, and annually 21%. Fewer farmers were affected by the larger grain borer (LGB) than by maize weevils: 42% in the long rainy season and 32% in the short rainy season; losses from LGB were also smaller: 19% in the long season, 17% in the short season, and 18% over the year. Total storage loss, from both species combined, was estimated at 36%, or 671,000 tonnes per year. The greatest losses occur in the humid areas, especially the moist mid-altitudes (56%), and with smaller loss in the drylands (20–23%). Extrapolating the point data and overlaying with the maize production map shows the geographic distribution of the losses, with the most important area found around Lake Victoria. FGDs provide convenient and cheap tools to estimate storage losses in representative communities, but a total loss estimate of 36% is higher than is found in other studies, so its accuracy and framing effects need to be assessed. We conclude that storage pests remain a major problem, especially in western Kenya, and that the use of environmentally friendly technologies such as hermetic storage and botanicals needs more attention, both by the public extension service and private agrodealers.

Larger Grain Borer Maize Weevil CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA MAIZE STORAGE LOSSES PESTS SURVEY METHODS

MLN disease diagnostics, MLN disease-free seed production and MLN disease management

Suresh L.M. (2023, [Objeto de congreso])

CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA YIELD LOSSES DISEASES MAIZE PHENOTYPING GERMPLASM SYMPTOMS ECONOMIC ASPECTS

Agricultural value chains in Sudan: an annotated bibliography

Hugo De Groote Paswel Marenya (2023, [Libro])

CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA AGRICULTURAL VALUE CHAINS CASH CROPS FOOD CROPS LIVESTOCK SOCIOECONOMIC ASPECTS GENDER SOCIAL INCLUSION POSTHARVEST LOSSES BIBLIOGRAPHIES

Contextos y evaluación de una experiencia universitaria en educación virtual

Jordy Micheli Thirión ADRIAN GERARDO DE GARAY SANCHEZ (2009, [Capítulo de libro])

La educación virtual en la UAM-A irrumpe en un contexto dominado por la poca atención al aprendizaje, es decir al alumno. La tradición sobre la cual se ha construido el quehacer formativo en nuestra universidad es la del énfasis en la enseñanza y el uso de las TIC más para la academia que para el trabajo de enseñanza aprendizaje. Sin embargo. el proceso de aprendizaje institucional (docentes. alumnos y Oficina de Educación Virtual) ha sido fluido. Puede decirse que existían condiciones para que ello sucediese y. además. la estrategia de acercamiento y apoyo a los docentes interesados ha sido la adecuada. El resultado es que éstos han mostrado capacidad de expandir sus competencias tecnológicas y, con ello. didácticas. y los alumnos reflejan en sus evaluaciones este nuevo quehacer del docente.

INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES ENSEÑANZA CON AYUDA DE ORDENADOR

Estudios florísticos locales ¿son importantes? La maravillosa y poco conocida flora de Susticacán, Zacatecas, México

Leopoldo Hurtado-Reveles MIREYA BURGOS HERNANDEZ (2023, [Artículo])

Enclavado en la Sierra de los Cardos, en una de las formaciones montañosas más importantes del estado de Zacatecas en México, se ubica el pequeño municipio de Susticacán, el menos poblado de esa entidad y reconocido por su belleza paisajística. A pesar de su superficie, recientes investigaciones demuestran el gran número de especies y endemismos con los que cuenta, constituyendo un área de resguardo de una importante riqueza vegetal. Esto enmarca la importancia de llevar a cabo estudios florísticos a nivel local que se traduzcan en buenas decisiones de manejo y conservación de las especies, en beneficio de los pobladores locales.

CONSERVACION ESPECIES ENDEMICAS ESTUDIOS FLORISTICO-TAXONOMICOS SIERRA DE LOS CARDOS SIERRA MADRE OCCIDENTAL BIOLOGÍA Y QUÍMICA CIENCIAS DE LA VIDA BIOLOGÍA VEGETAL (BOTÁNICA) ECOLOGÍA VEGETAL ECOLOGÍA VEGETAL

La enfermedad por coronavirus (COVID-19) y la iniciativa de excepción de los derechos de patente de las vacunas: oportunidades para México

Aradit Castellanos Vera Víctor Hugo Flores Delgado (2022, [Artículo])

"En este trabajo damos una visión general de la iniciativa que propone la excepción de los derechos de patente de las vacunas contra el virus de la COVID-19, del escenario de crisis global en la que surgió, así como de los principales argumentos de la controversia que la envuelve. En ese contexto analizamos y discutimos las medidas adoptadas por México para el aprovisionamiento de vacunas y las posibles oportunidades que esta iniciativa le brinda."

"In this paper we give an overview of the initiative that proposes the exception of patent rights for vaccines against the COVID-19, the global crisis scenario in which it arose, as well as the main arguments of the controversy that surrounds it. In this context, we analyze and discuss the measures adopted by Mexico for the supply of vaccines and the possible opportunities that this initiative offers."

excepción de patentes, vacunas, COVID-19, México patents waiver, vaccines, COVID-19, México MEDICINA Y CIENCIAS DE LA SALUD CIENCIAS MÉDICAS FARMACOLOGÍA NORMALIZACIÓN DE LOS MEDICAMENTOS NORMALIZACIÓN DE LOS MEDICAMENTOS

El uso del aula virtual: una mirada organizacional

Nancy Fabiola Martínez Cervantes (2009, [Capítulo de libro])

El objetivo de este ensayo es mostrarle al lector cómo la Oficina de Educación Virtual (OEV) es el espacio organizacional cuyas actividades buscan apoyar la calidad del proceso de enseñanza-aprendizaje de la educación superior que se imparte en la Universidad Autónoma Metropolitana Unidad Azcapotzalco. En este sentido. se organiza el trabajo en cuatro apartados. El primero hace un reconocimiento. desde el punto de vista de la legislación. sobre cómo se concibe el proceso de enseñanza-aprendizaje a fin de identificar que sólo la modalidad presencial es reconocida por la institución; en el segundo se hace un breve recuento del surgimiento de la Oficina de Educación Virtual a fin de responder a las necesidades de incorporar nuevos métodos. tanto pedagógicos como tecnológicos a la práctica docente; en el tercero se explica cómo el aula virtual se ha incorporado a la docencia tradicional destacando el papel de los participantes en dicho proceso. y finalmente en el cuarto apartado. se hace un breve análisis desde la perspectiva organizacional sobre el uso de aula virtual en la práctica docente.

INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES ENSEÑANZA CON AYUDA DE ORDENADOR