A line follower robot implementation using Lego's Mindstorms Kit and Q-Learning

VICTOR RICARDO CRUZ ALVAREZ ENRIQUE HIDALGO PEÑA HECTOR GABRIEL ACOSTA MESA (2012, [Artículo])

Un problema común al trabajar con robots móviles es que la fase de programación puede ser un proceso largo, costoso y difícil para los programadores. Los Algoritmos de Aprendizaje por Refuerzo ofrecen uno de los marcos de trabajo más generales en el ámbito de aprendizaje de máquina. Este trabajo presenta un enfoque usando el algoritmo de Q-Learning en un robot Lego para que aprenda "por sí mismo" a seguir una línea negra dibujada en una superficie blanca. El entorno de programación utilizado en este trabajo es Matlab.

INGENIERÍA Y TECNOLOGÍA Algoritmos de aprendizaje reforzado Q-learning (Algoritmo de aprendizaje reforzado) Lego Mindstorms (Robótica) Matlab Reinforcement learning algorithms Q-Learning (Reinforcement learning algorithm) Lego Mindstorms (Robotics) Matlab

Multi-environment genomic prediction of plant traits using deep learners with dense architecture

Osval Antonio Montesinos-Lopez Jose Crossa (2018, [Artículo])

Shared Data Resources Deep Learning Genomic Prediction CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA ACCURACY GENOMICS NEURAL NETWORKS FORECASTING DATA MARKER-ASSISTED SELECTION

Multi-trait, multi-environment deep learning modeling for genomic-enabled prediction of plant traits

Osval Antonio Montesinos-Lopez Jose Crossa Francisco Javier Martin Vallejo (2018, [Artículo])

Deep Learning Genomic Prediction Bayesian Modeling Shared Data Resources CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA BAYESIAN THEORY RESOURCES DATA BREEDING PROGRAMMES

High-throughput plot-level quantitative phenotyping using convolutional neural networks on very high-resolution satellite images

Francisco Pinto Matthew Paul Reynolds Robert Furbank (2024, [Artículo])

Deep Learning Object-Based Image Analysis Optical Imagery CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA AGRICULTURE IMAGE ANALYSIS PLANT BREEDING REMOTE SENSING MACHINE LEARNING

Multi-modal deep learning improves grain yield prediction in wheat breeding by fusing genomics and phenomics

Xu Wang Sandesh Kumar Shrestha Philomin Juliana Suchismita Mondal Francisco Pinto Govindan Velu Leonardo Abdiel Crespo Herrera JULIO HUERTA_ESPINO Ravi Singh Jesse Poland (2023, [Artículo])

New Crop Varieties Plant Breeding Programs Yield Prediction CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA LEARNING GRAIN YIELDS WHEAT BREEDING FOOD SECURITY

Multimodal deep learning methods enhance genomic prediction of wheat breeding

Carolina Rivera-Amado Francisco Pinto Francisco Javier Pinera-Chavez David González-Diéguez Matthew Paul Reynolds Paulino Pérez-Rodríguez Huihui Li Osval Antonio Montesinos-Lopez Jose Crossa (2023, [Artículo])

Conventional Methods Genomic Prediction Accuracy Deep Learning Novel Methods CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA WHEAT BREEDING MACHINE LEARNING METHODS MARKER-ASSISTED SELECTION

Arreglos de antenas para radiación tipo Isoflux en satélites LEO con diferentes alturas orbitales

Antenna arrays for Isoflux radiation in LEO satellites at various orbital altitudes

Paulina Díaz De la Paz (2023, [Tesis de maestría])

En los últimos años, las constelaciones de satélites en órbita baja han ganado popularidad como infraestructura para ofrecer el servicio de Internet satelital, y se espera que su presencia siga en aumento. Para minimizar la latencia en la transmisión de datos, estos satélites suelen situarse en el rango inferior y medio de la órbita baja terrestre. Comúnmente, los satélites de estas constelaciones emiten una radiación que consiste en un único haz que concentra la potencia en una sola dirección. Sin embargo, debido a la curvatura de la Tierra, las ondas electromagnéticas radiadas por el arreglo de antenas abordo del satélite viajan distancias diferentes. Las ondas que se desplazan en dirección del nadir del satélite hacen un recorrido más corto en comparación con las que se propagan en las direcciones más distantes a este. Este fenómeno ocasiona pérdidas de potencia en los bordes del área de cobertura. Para compensar estas pérdidas, se propone el uso de arreglos de antenas de radiación tipo Isoflux. Estos arreglos distribuyen la densidad de potencia de manera uniforme en el área de cobertura, aumentando la ganancia en direcciones donde el trayecto es más largo. Lograr este tipo de radiación para satélites en órbita baja se vuelve más desafiante. Debido a la proximidad del satélite a la Tierra, es necesario que la radiación se extienda sobre una gran parte del plano de elevación, requiriendo un haz Isoflux que sobrepasa los 100 grados. Esta tesis presenta 18 diseños de arreglos de antenas para satélites en las alturas orbitales de 340 km, 550 km y 1150 km. Para el diseño de estos arreglos, se emplean las geometrías lineales, planares y anillos concéntricos, tanto periódicas como aperiódicas. La distribución de excitaciones de amplitud y la separación entre elementos de antena se optimizan utilizando algoritmos genéticos. La presente tesis incluye un análisis comparativo de las prestaciones de radiación y cantidad de elementos de los diseños presentados, categorizados por altura orbital.

In recent years, the utilization of low-Earth orbit satellite constellations as infrastructure for providing satellite Internet services has experienced substantial growth. The rise of this trend is likely to continue. These satellites are typically placed in the lower to mid-range of low-Earth orbit in order to reduce latency in data transmission. It is common for the antenna arrays on these satellites to emit a single radiation beam that concentrates power in a singular direction. Due to the curvature of the Earth, the electromagnetic waves radiated by the antenna array travel different distances. Waves traveling in the satellite’s nadir direction cover a shorter distance compared to those propagating in more distant directions. This phenomenon causes power losses at the edges of the coverage area. To compensate for these losses, the use of Isoflux radiation antenna arrays is proposed. These arrays distribute the power density evenly across the coverage area, increasing gain in directions where the path is longer. Achieving such radiation characteristics becomes more difficult for low-Earth orbit satellites. Due to the satellite’s proximity to Earth, radiation needs to extend over a large portion of the elevation plane, requiring an Isoflux beam that exceeds 100 degrees. This thesis presents 18 antenna array designs for satellites at the orbital altitudes of 340 km, 550 km, and 1150 km. Linear, planar, and concentric ring geometries are employed, with both periodic and aperiodic antenna element distributions. The distribution of amplitude excitations and the spacing between antenna elements are optimized using genetic algorithms. This thesis includes a comparative analysis of the radiation performance and the number of elements of the presented designs, categorized by orbital altitude.

arreglos de antenas, radiación Isoflux, satélites LEO, algoritmos genéticos antenna arrays, Isoflux radiation, LEO satellites, genetic algorithms INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA ELECTRÓNICA ANTENAS ANTENAS

Regulación de una red de canales de riego

FELIPE BENJAMIN DE LEON MOJARRO VICTOR MANUEL RUIZ CARMONA LUIS RENDON PIMENTEL (2002, [Artículo])

La mayor parte de la producción agrícola de México se genera en las zonas denominadas distritos y unidades de riego. En estas áreas, la disponibilidad y la competencia por el agua ha obligado a emprender programas de tecnificación integral que permitan mejorar el uso eficiente del agua y su productividad. Así, de 1996 a 2001 se tecnificaron alrededor de 700 mil hectáreas con sistemas de riego de baja y alta presión y se construyeron redes colectivas de baja presión en superficies de 500 a 4000 hectáreas en varios de estos distritos. Asimismo, la transformación de los sistemas de riego parcelario y de la distribución inter-parcelaria necesita de un cambio en la regulación de los canales principales, a fin de que se pueda brindar a los usuarios un servicio de riego flexible, seguro, equitativo y eficiente. En varias zonas de riego del país los canales laterales se han sustituido por redes colectivas de baja presión, entubadas con materiales plásticos y alimentadas por estaciones de bombeo o por los propios canales cuando ha existido carga suficiente. La regulación de canales de riego consiste en optimar el proceso de conducción y distribución del agua desde la fuente de abastecimiento hasta los sitios de utilización para satisfacer la demanda evapotranspirativa de los cultivos existentes en una zona de riego. Esta optimación consiste en generar y aplicar reglas de control para adaptar el transporte y la distribución del agua en los canales principales a los programas de extracción de las tomas laterales. Aunque la regulación de canales puede abordarse bajo diferentes puntos de vista, la metodología de regulación propuesta resulta fácilmente adaptable a redes de canales de diferente configuración sujetas a variaciones temporales. Los resultados obtenidos permiten concluir que la aplicación de la teoría de control en la regulación de canales es una alternativa que ayuda a reducir las pérdidas de agua debidas a la operación, así como a mejorar el servicio de la irrigación en los distritos de riego.

Regulación de canales Algoritmos de control CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA

Statistical machine-learning methods for genomic prediction using the SKM library

Osval Antonio Montesinos-Lopez Brandon Alejandro Mosqueda González Jose Crossa (2023, [Artículo])

Sparse Kernel Methods R package Statistical Machine Learning Genomic Selection CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA MARKER-ASSISTED SELECTION MACHINE LEARNING GENOMICS METHODS

Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL