Escenarios de la distribución de plomo en agua, sedimentos y bacterias del lago de Chapala, México

ANNE MARGRETHE HANSEN HANSEN ADRIANA VILLA NAVIA MANFRED JOSEF VAN AFFERDEN MOELDERS (2006, [Artículo])

Para evaluar la distribución de plomo en los recursos naturales en el lago de Chapala se analizó la adsorción de este metal en bacterias y, mediante datos publicados en la literatura y modelación numérica, se estimó el riesgo asociado al consumo de peces y agua. Experimentos de adsorción en tres cepas de bacterias y simulaciones de la distribución en un sistema agua-sedimentos-bacterias indican que la distribución del plomo en el lago depende de variaciones en calidad del agua tales como sólidos suspendidos totales, plomo total y biomasa. Considerando únicamente el plomo contenido en los sedimentos depositados en el fondo del lago, las simulaciones sugieren que las concentraciones generalmente no sobrepasan los límites y criterios establecidos para uso y protección del agua, sedimentos y biota. Considerando la existencia de una fuente adicional que localmente aumente la concentración de plomo con un factor de diez, la cantidad de plomo en agua y sedimentos puede sobrepasar los límites establecidos. La bioacumulación de plomo en el lago de Chapala fue estimada a partir de los factores de bioconcentración y biomagnificación del metal, calculados mediante los valores simulados en este trabajo y concentraciones publicadas sobre plomo en peces (Ayla Jay y Ford, 2001). Los resultados indican que el plomo se concentra en bacterias y peces, y puede alcanzar factores de 721 y 6,195, respectivamente. Asimismo, la bioacumulación de plomo en el lago ocurre por bioconcentración en peces más que por biomagnificación en la cadena trófica.

Lagos Contaminación por plomo Modelo de equilibrio químico Bioacumulación Lago de Chapala CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA

Implementación de algoritmos basados en la teoría de grafos en proyectos de sectorización de redes de agua potable

Velitchko Tzatchkov VICTOR HUGO ALCOCER YAMANAKA (2011, [Artículo])

Los proyectos de sectorización de redes de agua potable, en proceso en diferentes ciudades mexicanas actualmente, consisten en dividir la red de la ciudad en varias subredes o sectores más pequeños con una o máximo dos entradas de agua por sector. Para diseñar los sectores se emplean modelos de redes de agua potable que revisan si la sectorización propuesta puede funcionar hidráulicamente de manera adecuada. Para los proyectos de sectorización en redes grandes se requieren, sin embargo, facilidades algorítmicas adicionales, como análisis de conectividad, zona de influencia y contribución de cada fuente sobre el consumo. En el presente artículo se discuten eficientes algoritmos de este tipo basados en la teoría de los grafos, implementados en un sistema de cómputo.

Modelos de redes de distribución Redes de distribución de agua Algoritmos sobre grafos INGENIERÍA Y TECNOLOGÍA

Dispersión horizontal y vertical en un modelo idealizado de la circulación inducida por el viento

Horizontal and vertical dispersion in an idealized wind-driven circulation model

José Rodrigo Barrientos Valencia (2023, [Tesis de maestría])

El estudio de la dispersión de materia flotante en el océano es fundamental para abordar problemas contemporáneos, como la contaminación por desechos y la distribución de nutrientes. Sin embargo, la distribución superficial horizontal no captura completamente la complejidad del problema, ya que muchos contaminantes, incluidos los plásticos, tienden a hundirse debido a la desintegración o a la adhesión de materiales que alteran su densidad. Este estudio se centra en la dispersión horizontal y vertical de trazadores pasivos en un océano turbulento impulsado por el viento. Se utilizan partículas sintéticas que son advectadas por un modelo Lagrangiano resolviendo la trayectoria de cada partícula mediante un método Runge-Kutta de 4 ◦ orden. Se exploran cuatro mecanismos de dispersión: (i) corrientes geostróficas a gran escala según el modelo clásico de Stommel, (ii) velocidad de Ekman, (iii) difusividad turbulenta debida a movimientos de submesoescala (simulados con una caminata aleatoria), y (iv) efectos inerciales relacionados con el tamaño y la flotabilidad del trazador. El estudio se divide en dos partes: primero, se examina la dispersión horizontal en superficie, y después se aborda el caso tridimensional mediante la inmersión de trazadores por bombeo de Ekman. Los principales resultados son: 1) con la deriva superficial de Ekman, las partículas convergen hacia una región alrededor del centro del giro de Stommel; sin embargo, dicha convergencia disminuye a medida que aumentan los efectos de la turbulencia; 2) considerando los efectos inerciales, aumentar la flotabilidad o el tamaño de las partículas provoca una convergencia mayor que la producida por la deriva de Ekman; 3) al incluir la velocidad vertical negativa, una baja difusividad turbulenta permite que los trazadores alcancen mayores profundidades porque permanecen más tiempo en regiones de mayor hundimiento.

The study of floating material dispersion in the ocean is crucial for addressing contemporary issues such as waste pollution and nutrient distribution. However, the horizontal surface distribution does not fully capture the complexity of the problem. Many pollutants, including plastics, tend to sink due to the disintegration or adhesion of materials altering their density. This study focuses on the horizontal and vertical dispersion of passive tracers in a turbulent, wind-driven ocean. Synthetic particles are advected using a Lagrangian model, with each particle’s trajectory solved using a fourth-order Runge-Kutta method. Four dispersion mechanisms are explored: (i) large-scale geostrophic currents based on the Stommel’s classical model, (ii) Ekman velocity, (iii) turbulent diffusivity due to submesoscale motions (simulated with a random walk), and (iv) inertial effects related to the tracer’s size and buoyancy. The study is divided into two parts: first, horizontal dispersion at the surface is examined, and then the three-dimensional scenario is addressed by immersing tracers through Ekman pumping. The key findings are as follows: 1) with surface Ekman drift, particles converge around the center of the Stommel gyre; however, this convergence decreases as turbulence effects increase; 2) considering inertial effects, increasing buoyancy or particle size results in greater convergence than that caused by Ekman drift; 3) when the vertical velocity is included, a low turbulent diffusivity allows tracers to reach greater depths because they remain longer times in regions of greater sinking.

circulación de Stommel, deriva de Ekman, partículas inerciales, dispersión de partículas, bombeo de Ekman Stommel circulation, Ekman drift, inertial particles, particle dispersion, Ekman pumping CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA CIENCIAS DE LA TIERRA Y DEL ESPACIO OCEANOGRAFÍA OCEANOGRAFÍA FÍSICA (VE R 5603 .04) OCEANOGRAFÍA FÍSICA (VE R 5603 .04)

Caracterización de habilidades cognitivas en infantes con Parálisis Cerebral atendidos a través del modelo Petö: un estudio retrospectivo en la asociación civil Con Nosotros, A.C. en Morelos, México

IRIS ANAID RODRÍGUEZ SÁNCHEZ (2023, [Tesis de maestría])

En esta investigación se describen los diversos elementos que componen el modelo Petö 1

identificando en sus programas las habilidades cognitivas que desarrollan los infantes, ya que es de gran

relevancia la autonomía que logran durante su crianza y educación con este modelo.

Se realizó una revisión de los expedientes de 9 infantes con Parálisis Cerebral (PC) entre 6 y 13

años, específicamente se analizaron los resultados de la Prueba Progress Assesment Chart P.A.C2 en el

área de comunicación, socialización, independencia personal y ocupación del año 2017 al 2020, con el

objetivo de caracterizar las habilidades cognitivas en infantes con Parálisis Cerebral atendidos a través

del modelo Petö en la asociación civil Con Nosotros, A.C. en Morelos, México.

Los resultados de las pruebas de cada infante fueron vaciados en rúbricas diseñadas para poder

caracterizar las habilidades cognitivas que el modelo Petö desarrolla en atención a los infantes con

Parálisis Cerebral de la asociación civil Con Nosotros, A.C. Morelos, México.

Así mismo, se realizó un análisis cuantitativo en graficas con porcentajes, así como cualitativos de los

resultados de las evaluaciones de las áreas de comunicación, socialización, independencia personal y

ocupación de dichos 9 expedientes.

La presente investigación fue un estudio longitudinal, descriptivo, basado en el análisis y

sistematización retrospectiva de la revisión de 9 expedientes de infantes con Parálisis Cerebral entre 6 y

13 años de la asociación civil Con Nosotros, A.C. Morelos, México, durante el período 2017-2020. El

objetivo de esta revisión fue caracterizar las habilidades cognitivas que desarrolla el Modelo Petö. Los

resultados del análisis de las pruebas muestran que independientemente del nivel de discapacidad que

presenten los infantes, el modelo desarrolla en ellos habilidades cognitivas, motrices, sociales y de

independencia.

En conclusión, estas habilidades cognitivas que los infantes desarrollan durante su rutina escolar

les da las herramientas para lograr una ortofuncionalidad en sus vidas y con esto lograr una mejor calidad

de vida para ellos y para sus familias.

HUMANIDADES Y CIENCIAS DE LA CONDUCTA PSICOLOGÍA Parálisis Cerebral, Modelo Petö, habilidades cognitivas.

Propuesta multicultural en una institución de educación media superior en Mérida, Yucatán

MANUEL FLORES FAHARA (2023, [Tesis de maestría])

https://orcid.org/0000-0001-9282-8750

Yucatán es uno de los Estados con mayor preservación cultural dentro de la República Mexicana, constantemente busca la forma de favorecer sus raíces y de incentivar a sus personas a ser parte de sus tradiciones. Pese a esta característica culturalmente favorable, el Estado de Yucatán se enfrenta a una realidad educativamente crítica. Actualmente la tasa de abandono escolar en adolescentes es significativamente elevada, puesto que una vez finalizan con sus estudios de secundaria, no continúan con estudios de bachillerato en casi el 50%. Si bien, existen distintos factores que favorecen a este número de forma negativa, uno de los principales es la creencia popular de que, al haber finalizado el último año de secundaria, ya se tienen los conocimientos necesarios para una vida despreocupada en el estado.

Es gracias a esta problemática que se realizó el presente proyecto de intervención en la institución Centro Universitario Montejo A.C. de la ciudad de Mérida, Yucatán con una propuesta de implementación multicultural e intercultural para complementar el modelo académico de la institución con elementos multiculturales que permitan integrar una diversidad cultural para poder disminuir el estigma de aprender únicamente lo aplicable para la región, así como elementos interculturales que continúen fomentando el respeto por la tradición y cultura prehispánica como se ha realizado hasta la actualidad. Una vez se realizó la intervención, se obtuvieron resultados sumamente favorecedores en los que los estudiantes presentaron sus opiniones y propuestas al modelo multicultural, así como una perspectiva docente más dispuesta a la descentralización de la educación.

Maestro en Educación

HUMANIDADES Y CIENCIAS DE LA CONDUCTA PEDAGOGÍA ORGANIZACIÓN Y PLANIFICACIÓN DE LA EDUCACIÓN ANÁLISIS, REALIZACIÓN DE MODELOS Y PLANIFICACIÓN ESTADÍSTICA

Escenarios futuros de eventos extremos de precipitación y temperatura en México

Future changes of precipitation and temperature extremes in Mexico

Ernesto Ramos Esteban (2024, [Tesis de maestría])

Diferentes estudios a escala mundial indican un incremento en frecuencia de eventos climáticos extremos debido al calentamiento global y sugieren que podrían intensificarse en el futuro. El objetivo de este trabajo es analizar los posibles cambios de 12 índices climáticos extremos (ICE) de precipitación y temperatura en 15 regiones de México, el sur de los Estados Unidos y Centroamérica para un período histórico (1981-2010), un futuro cercano (2021-2040), un futuro intermedio (2041-2060) y un futuro lejano (2080-2099). Se utilizó el reanálisis ERA5 como referencia en la evaluación histórica de los modelos climáticos globales (MCG) y para las proyecciones se analizaron los ICE de diez MCG del Proyecto de Intercomparación de Modelos Climáticos, fase 6 (CMIP6), de acuerdo con dos escenarios de Vías Socioeconómicas Compartidas (SSPs), uno de bajas emisiones (SSP2-4.5) y otro de altas emisiones (SSP3-7.0). Los MCG reproducen muy bien los índices extremos de temperatura histórica y los días consecutivos secos, pero subestiman la lluvia promedio y la lluvia extrema en las zonas más lluviosas desde el centro de México hasta Centroamérica. Históricamente, se observaron tendencias positivas de las temperaturas extremas (TXx y TNn) en todas las regiones, pero sólo en algunas regiones fueron significativas, mientras que los índices de lluvia extrema (R95p, R10mm y R20mm) presentaron tendencias negativas, pero pequeñas. Las proyecciones indican que las temperaturas extremas podrían seguir incrementándose en el futuro, desde 2° C hasta 5° C a mitad y final de siglo, respectivamente. La contribución de la precipitación extrema arriba del percentil 95 (R95p) se podría incrementar entre un 10 % y 30 %, especialmente en la región subtropical, mientras que la precipitación podría disminuir en las regiones tropicales. Este estudio es el primero que analiza los cambios futuros de índices extremos del CMIP6 a escala regional (en 15 regiones) de México, el sur de Estados Unidos y Centroamérica.

Global-scale studies indicate an increase in the frequency of extreme weather events due to global warming and suggest that they could further intensify in the future. This study aims to assess potential changes in 12 extreme climate indices (ECI) related to precipitation and temperature in 15 regions in Mexico, the southern United States, and Central America for different periods: a historical period (1981-2010), a near future (2021-2040), an intermediate future (2041-2060), and a far future (2080-2099). The ERA5 reanalysis was used as a reference for the historical evaluation of global climate models (GCMs), and ECI from ten GCMs of phase 6 (CMIP6) from the Coupled Model Intercomparison Project were employed for the projections and examined under two Shared Socioeconomic Pathways (SSPs) scenarios, one characterized by low emissions (SSP2-4.5) and another representing high greenhouse gas emissions (SSP3-7.0). The GCMs reproduce historical extreme temperature indices and consecutive dry days very well. However, they underestimate average and extreme rainfall from central Mexico to Central America in the wetter areas. Historically, positive trends in extreme temperatures (TXx and TNn) were observed across all regions. However, statistical significance was only present in certain regions, while extreme rainfall indices (R95p, R10mm, and R20mm) exhibited small negative trends. The projections suggest that extreme temperatures could continue to increase in the future, from 2°C to 5°C by the mid and late century, respectively. The contribution of extreme precipitation above the 95th percentile (R95p) could increase by 10% to 30%, particularly in the subtropical regions, while precipitation might decrease in tropical regions. This study is the first to analyze future changes in extreme indices from CMIP6 at a regional scale (across 15 regions) in Mexico, the southern United States, and Central America.

Centroamérica, CMIP6, escenarios SSP, extremos climáticos, intercomparación de modelos climáticos, México Central America, climate extremes, CMIP6, intercomparison of climate models, Mexico, SSP scenarios CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA CIENCIAS DE LA TIERRA Y DEL ESPACIO OCEANOGRAFÍA OCEANOGRAFÍA FÍSICA (VE R 5603 .04) OCEANOGRAFÍA FÍSICA (VE R 5603 .04)

Detección de comportamiento no verbal en interacción humano-robot

Detection of non-verbal behavior in human-robot interaction

Ernesto Adrián Lozano De la Parra (2023, [Tesis de maestría])

La comunicación no verbal desempeña un papel vital en la interacción humana. En el contexto de la interacción humano-robot (IHR), los robots sociales están diseñados principalmente para la comunicación verbal con los humanos, dejando a la comunicación no verbal como un área de investigación abierta. En este trabajo, se presenta una arquitectura flexible y abierta llamada Software Arquitechture for Nonverbal Interaction in Human-Robot Interaction (SANI-HRI) diseñada para facilitar las interacciones no verbales en IHR. Entre sus componentes se encuentra un Cuaderno Computacional P2P basado en navegador web, aprovechado para codificar, ejecutar y compartir programas reactivos. Pueden incluirse modelos de aprendizaje automático para el reconocimiento en tiempo real de gestos, poses y estados de ´animo, empleando protocolos como MQTT. Otro componente clave es un Broker para distribuir datos entre distintos dispositivos físicos, como robots, dispositivos vestibles y sensores ambientales, así como modelos de aprendizaje automático que comprendan diferentes tipos de datos. Se demuestra la utilidad de esta arquitectura mediante tres escenarios de interacción: (i) el primero que emplea la proxémica y la dirección de la mirada para iniciar un encuentro improvisado, (ii) un segundo que utiliza técnicas de visión por computadora para detectar y analizar expresiones faciales y corporales, así como el uso sensores biométricos para obtener datos de ritmo cardiaco durante una rutina de ejercicio, y (iii) un tercero que incorpora el reconocimiento de objetos y Modelos de Lenguaje Grandes para sugerir comidas a cocinar en función de los ingredientes disponibles. Estos escenarios ilustran cómo los componentes de la arquitectura pueden integrarse para abordar nuevos escenarios, en los que los robots necesitan inferir señales no verbales de los usuarios.

Nonverbal communication plays a vital role in human interaction. In the context of Human-Robot Interaction (HRI), social robots are designed primarily for verbal-based communication with humans, making nonverbal communication an open research area. We present a flexible, open framework called Software Architecture for Nonverbal Interaction in Human-Robot Interaction (SANI-HRI) designed to facilitate nonverbal interactions in HRI. Among its components it has a P2P Browser-Based Computational Notebook, leveraged to code, run, and share reactive programs. Machine-learning models can be included for real-time recognition of gestures, poses, and moods, employing protocols such as MQTT. Another key component is a broker for distributing data among different physical devices like the robot, wearables, and environmental sensors and also machine learning models. We demonstrate this framework’s utility through three interaction scenarios: (i) the first one employing proxemics and gaze direction to initiate an impromptu encounter, (ii) a second that uses computer vision techniques to detect and analyze facial and body expressions, as well as the use of biometric sensors to obtain heart rate data during a workout routine, and (iii) a third one incorporating object recognition and a Large-Language Model to suggest meals to be cooked based on available ingredients. These scenarios illustrate how the framework’s components can be seamlessly integrated to address new scenarios, where robots need to infer nonverbal cues from users.

Interacción humano-robot, Comunicación no verbal, Broker MQTT, Notebook computacional, Modelos linguísticos grandes, SANI-HRI Human-robot interaction, Nonverbal communication, Broker MQTT, Computational notebook, Large language models, SANI-HRI INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES SISTEMAS DE RECONOCIMIENTO DE CARACTERES SISTEMAS DE RECONOCIMIENTO DE CARACTERES

Modelado y acoplamiento de la conductividad eléctrica e hidráulica a partir de tomografía de rocas

Modeling and coupling of electrical and hydraulic conductivity from rock tomography

Miguel Ángel Martínez Rodríguez (2022, [Tesis de maestría])

En este trabajo se emplearon técnicas de modelado numérico para simular el flujo de corriente eléctrica y de fluido a través de medios porosos con el fin de determinar el factor de resistividad y la permeabilidad, así como la distribución de los campos de densidad de corriente eléctrica y velocidad de flujo. Para el modelado de flujo eléctrico se desarrolló un algoritmo basado en diferencias finitas, mientras que para el modelado hidráulico se empleó una librería reportada en la literatura, basada en el método de redes de Boltzmann. En ambos esquemas de modelado se establecieron condiciones en la frontera poro-grano para modelar los procesos físicos exclusivamente en el espacio poroso. Los valores estimados de factor de resistividad y de permeabilidad, así como la porosidad, se emplearon para estudiar las correlaciones entre estas propiedades a través de relaciones petrofísicas. Para esto, se propuso una expresión que relaciona la permeabilidad y la porosidad y, empleando una relación existente entre el factor de resistividad y la porosidad, se propuso también una relación directa entre la permeabilidad y el factor de resistividad. Las relaciones propuestas fueron aplicadas a los valores numéricos obtenidos para paquetes de esferas generados numéricamente y se encontró que se ajustan mejor a los datos en comparación con las relaciones más comúnmente utilizadas, especialmente para porosidades altas. Se mostró también que estas relaciones petrofísicas toman la forma de las relaciones más comunes conocidas cuando se trata con porosidades bajas. Valores obtenidos de imágenes digitales de un paquete de esferas sintético y una muestra de dolomita mostraron que las expresiones para porosidades bajas son suficientes para ajustar datos de medios porosos con porosidades menores a un valor entre 0.3 y 0.4. Finalmente, se analizaron el factor de resistividad, la permeabilidad, las relaciones petrofísicas, y las distribuciones espaciales y estadísticas de los campos vectoriales de flujo se analizaron para comparar los fenómenos de transporte eléctrico e hidráulico, encontrando que algunos factores, como la porosidad efectiva, son importantes en ambos fenómenos de flujo; mientras que otros, como la adherencia del fluido a las paredes del poro, son particularmente relevantes para el flujo hidráulico.

In this work, numerical modeling techniques were used to simulate the flow of electric current and fluid through porous media in order to determine the resistivity factor and permeability, as well as the distribution of electric current density and flow velocity fields. For electric flow modeling, an algorithm based on finite differences was developed, while for hydraulic modeling, a library reported in the literature, based on lattice Boltzmann method, was used. In both modeling schemes, pore-grain boundary conditions were established to model the physical processes exclusively in the pore space. The estimated values of resistivity factor and permeability, as well as porosity, were used to study the correlations between these properties through petrophysical relationships. An expression relating permeability and porosity was proposed and, using an existing relationship between the resistivity factor and the porosity, a direct relation between permeability and resistivity factor was also proposed. The proposed relations were applied to data obtained for numerically generated sphere packs and were found to fit the data better than the most commonly used relationships, especially for high porosities. It was also shown that these petrophysical relationships take the form of the most common relationships known when dealing with low porosities. Modeling data on digital images of a synthetic sphere pack and a dolomite sample showed that the expressions for low porosities are sufficient to fit data from porous media with porosities lower than 0.3 to 0.4. Finally, resistivity factors, permeabilities, petrophysical relationships, and spatial and statistical distributions of flow vector fields were analyzed to compare electrical and hydraulic transport phenomena, finding that some factors, such as the effective porosity, are important in both flow phenomena; whereas some other, such as the pore-wall adherence, are particularly relevant to hidraulic flux.

Física de rocas, modelado numérico, relaciones petrofísicas, fenómenos de transporte, factor de resistividad, permeabilidad, porosidad, tomografía de rocas, campos vectoriales, distribución estadística Rock physics, numerical modelling, petrophysical relations, transport phenomena, resistivity factor, permeability, porosity, rock tomography, vector fields, statistical distribution CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA CIENCIAS DE LA TIERRA Y DEL ESPACIO GEOFÍSICA GEOFÍSICA DE LA MASA SÓLIDA TERRESTRE GEOFÍSICA DE LA MASA SÓLIDA TERRESTRE

Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL