Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

Gobernadores. Entrevistas sobre la democratización en Morelos, 1988-2012.

MARIA VICTORIA CRESPO (2023, [Libro])

Este libro reúne una serie de entrevistas realizadas en los años 2008 y 2009 a los gobernadores de Morelos correspondientes a los periodos que van de 1988 a 2012 identificados como los “gobernadores de la transición a la democracia” en esta entidad federativa: Antonio Riva Palacio López (1988-1994), Jorge Carrillo Olea (1994-1998), Jorge Morales Barud (1999-2000), Sergio Alberto Estrada Cajigal Ramírez (2000-2006) y Marco Antonio Adame Castillo (2006-2012). La obra es un recuento narrativo- histórico- político de su papel en el proceso de democratización en el estado. El punto de partida es la convulsionada década de 1990, en la que se produjeron los primeros signos reales de apertura, liberalización y, finalmente, de crisis del sistema político estatal. Este proceso condujo a la primera alternancia municipal en 1997 y a la transformación del régimen político que tuvo una duración de setenta años.

CIENCIAS SOCIALES CIENCIA POLÍTICA Morelos (estado), democracia, alternancia política

Desarrollo de un portafolio priorizado de medidas de adaptación identificadas para el sector agrícola

Juan Manuel Angeles Mario Alberto Montiel Gutiérrez HELENE EMMI KARIN UNLAND WEISS (2013, [Documento de trabajo])

Con el objetivo de apoyar a la Secretaría de Medio Ambiente y Recursos Naturales (SEMARNAT) en sus necesidades y contribuir al desarrollo de la Estrategia Nacional de Adaptación (ENA), la Agencia Alemana de Cooperación al Desarrollo (GIZ), a través de los Proyectos “Alianza Mexicana-Alemana de Cambio Climático” y “Cambio Climático y Gestión de Áreas Naturales Protegidas”, se encuentra desarrollando una herramienta para la priorización de medidas de adaptación al cambio climático en México, en tres sectores estratégicos: recurso hídrico, agricultura y ecosistemas forestales. El objetivo de dicha herramienta es que todos los actores públicos responsables de implementar políticas públicas y medidas de adaptación al cambio climático en México, cuenten con una herramienta útil y accesible de priorización que contemple criterios técnicos, sociales, políticos y económicos en los sectores bajo estudio.

Para lograrlo se contempla el desarrollo de cuatro fases: (i) identificación de un portafolios de medidas de adaptación por sector, (ii) definición de criterios “no económicos” y aplicación de una metodología para identificación de un portafolio priorizado, (iii) realización de análisis costo-beneficio a las medidas identificadas en el portafolio priorizado, y (iv) construcción de una herramienta para la priorización de medidas de adaptación. En este contexto, el Instituto Mexicano de Tecnología del Agua desarrolló un partafolio priorizado de medidas de adaptación públicas, identificadas para el sector agrícola.

Agricultura Cambio climático Política ambiental Evaluación INGENIERÍA Y TECNOLOGÍA

¿Privatización del sistema penitenciario en México? un balance entorno a las presiones construidas bajo el esquema de asociaciones publico-privadas.

ALBERTO ESPEJEL ESPINOZA MARIELA DIAZ SANDOVAL (2020, [Capítulo de libro])

Entre las grandes asignaturas pendientes en el sistema penitenciario mexicano destaca la puesta en marcha de medidas significativas que coadyuven a la prevención de delitos, la disminución de los índices delictivos y la reinserción en la sociedad de quienes los hubieran

cometido. Ante las distintas problemáticas estructurales que aquejan al sistema carcelario en México, Felipe Calderón Hinojosa anunció en 2010, durante su mandato, la creación de diez penales bajo el esquema de ¿asociaciones público-privadas?, en el contexto de la ¿guerra contra el narcotráfico?. se argumentó que ante la sobrepoblación y la corrupción del sistema carcelario era necesario construir más complejos penitenciarios, a pesar de que con la reforma al sistema penal de 2008 se previó la disminución paulatina del número de internos.

No obstante, los datos siguen siendo preocupantes, pues, de acuerdo con la Comisión Nacional de Seguridad, al finalizar el 2016 la población recluida en los centros penitenciarios era de 233 469 personas (CNS 2016). En este contexto, las prisiones construidas bajo el esquema de asociaciones público-privadas no se han traducido en una alternativa positiva dentro del sistema penitenciario.

El propósito principal de este texto es identificar las características y consecuencias de la inversión de capital privado en la construcción y el manejo de complejos penitenciarios en México. Sostenemos que la utilización del esquema de asociaciones público-privadas en México para la construcción y el manejo de prisiones ha supuesto, al igual que en otros sectores, una serie de problemas, como el dispendio y la opacidad en el uso de los recursos públicos y la ausencia de mejoras efectivas en materia de derechos humanos.

CIENCIAS SOCIALES CIENCIA POLÍTICA ADMINISTRACIÓN PÚBLICA OTRAS

Claroscuros de la cuarta transformación: Las asociaciones publico-privadas en la construcción del tren maya.

ALBERTO ESPEJEL ESPINOZA MARIELA DIAZ SANDOVAL (2022, [Capítulo de libro])

El objetivo de este artículo es identificar las características del uso de las Asociaciones Público-Privadas (APP) para la construcción y manejo de infraestructura pública bajo el gobierno de la Cuarta Transformación. Para ello se elabora un análisis de la utilización de este esquema en el macroproyecto Tren Maya, una de las obras insignes del gobierno de Andrés Manuel López Obrador (AMLO). El argumento central de este artículo es que, aun cuando las APP son un instrumento útil para impulsar el ambicioso plan de infraestructura del actual gobierno, éstas han sufrido cambios importantes al no privilegiar los tradicionales contratos de larga duración. Se concluye afirmando que el proyecto político enarbolado por el actual presidente del país explica, en parte, el viraje en la orientación de las APP.

CIENCIAS SOCIALES CIENCIA POLÍTICA ADMINISTRACIÓN PÚBLICA GESTIÓN ADMINISTRATIVA

Sociedad política y violencia Lecciones y desafíos desde el pacífico mexicano

EVELYN MEJIA CARRASCO (2020, [Libro])

A esta obra contribuyeron diversas voluntades y circunstancias en primer lugar, queremos agradecer a quienes colaboraron con sus reflexiones, un grupo de especialistas comprometidos y de amplio reconocimiento académico, provenientes de diversas instituciones y perfiles disciplinares: Nelson Arteaga, Mariela Díaz, Alberto Espejel, Evelyn Mejía, Silvestre Licea, Betzy Ríos, Rogelio Ortega, así como los que editamos este libro. También ha sido significativo el respaldo institucional del rector de la Universidad Autónoma de Guerrero (uagro), Javier Saldaña Almazán; del equipo responsable del área de investigación y posgrado (Berenice Illades Aguiar, Oscar Talavera Mendoza y Crisólogo Dolores Flores), así como del área de planeación y evaluación institucional (Víctor Manuel Abarca Martínez y Margarito Radilla Romero), con quienes la uagro ha dado un salto cualitativo y cuantitativo para dar a la investigación un mejor lugar en la escala de prioridades institucionales. La integración de estas voluntades y experiencias ha sido fundamental para abrir otros escenarios de colaboración, como la creación de la Red Latinoamericana de Estudios Subnacionales (Relades) en la uagro, espacio desde el que se han impulsado importantes encuentros académicos colaborativos de alcance nacional e internacional, con el 8 g Agradecimientos propósito analizar el fenómeno de las violencias desde una perspectiva subnacional; así nacieron dos seminarios, un diplomado y la maestría en Estudios de Violencias y Gestión de Conflictos.

CIENCIAS SOCIALES CIENCIA POLÍTICA SOCIOLOGÍA POLÍTICA

La gobernabilidad y la gubernamentalidad en los procesos de descentralización de México.

JOHN KENNY ACUÑA VILLAVICENCIO EVER SANCHEZ OSORIO MARÍA DEL PILAR NORIEGA GÓMEZ (2020, [Capítulo de libro])

Si bien la descentralización se presenta como una nueva forma de organización de la vida, también se encarga de reorganizar el poder y con ello amortiguar las verdaderas necesidades del pueblo. La importancia de poner atención en esta problemática radica en la necesidad de evidenciar aquellos dispositivos y discursos que continúan tensionando la sociedad y reproduciendo la lógica del poder del capital.

CIENCIAS SOCIALES CIENCIA POLÍTICA SOCIOLOGÍA POLÍTICA CONFLICTOS SOCIALES

La elección de 2018 en Guerrero.

GABINO SOLANO RAMIREZ MARGARITA JIMENEZ BADILLO (2023, [Capítulo de libro])

Este capítulo tiene como propósito analizar las elecciones concurrentes de 2018 en el estado de Guerrero. En esta jornada electoral se eligieron, en el ámbito local, 80 presidencias municipales y 46 diputaciones para conformar la LXII Legislatura (2018-2021), de las cuales 28 fueron de mayoría relativa y 18 de representación proporcional; y en el ámbito federal la ciudadanía guerrerense votó por Presidencia de la República, tres senadurías y nueve diputaciones federales de mayoría relativa.

Como en todo el país, el escenario en el sistema político electoral guerrerense cambió con la presencia de Morena, un partido que pasó de una posición marginal en la elección local de 2015 a ser la primera fuerza electoral en el Poder Legislativo local. En tanto que los partidos mayoritarios tradicionales, el Partido Revolucionario Institucional (PRI) y el Partido de la Revolución Democrática (PRD) fueron desplazados de importantes espacios de poder en la entidad.

CIENCIAS SOCIALES CIENCIA POLÍTICA VIDA POLÍTICA ELECCIONES

La senda democrática en México

JUAN PABLO NAVARRETE VELA (2022, [Artículo])

"En la revisión de literatura especializada sobre el sistema de partidos en México, siempre es pertinente contar con una obra que nos ayude a comprender a los partidos de izquierda, es decir, su papel antes y después de 1988, año en el que se evidenciaron los signos del agotamiento institucional que experimentaba el sistema de partido hegemónico-pragmático, según la tipología de Giovanni Sartori (2005). Ese sistema tenía al Partido Revolucionario Institucional (PRI) como la vía oficial en el gobierno".

CIENCIAS SOCIALES CIENCIA POLÍTICA VIDA POLÍTICA PARTIDOS POLÍTICOS PARTIDOS POLÍTICOS

Precursores políticos de la violencia Una mirada desde el proceso descivilizatorio

Silvestre Licea Dorantes Dulce María Quintero Romero (2018, [Artículo])

La violencia es un tema cada vez más recurrente en los trabajos académicos. Siempre está vigente la intención de comprender sus manifestaciones y las formas en que surge. A través del marco interpretativo del proceso descivilizatorio de Norbert Elias se pretende establecer una correspondencia entre las expresiones políticas y la violencia prevaleciente. Una aproximación teórica permite sugerir que existen elementos para sostener ese punto.

CIENCIAS SOCIALES CIENCIA POLÍTICA