Object manipulation by collaborative autonomous underwater vehicles driven by a model-free second-order sliding mode controller with finite-time convergence

JOSUE GONZALEZ GARCIA (2023, [Artículo])

https://orcid.org/0000-0001-5657-380X

The use of Autonomous Underwater Vehicles (AUV) has expanded in recent years to include them in inspection, maintenance, and repair missions. These missions require the automation of tasks such as autonomous navigation and station-keeping, which are pretty challenging due to the complexity of the vehicle itself and the underwater environment. Traditional control strategies have been used to deal with those problems before, but their performance is limited since they do not consider non-linearities, external disturbances, or model uncertainties. Non-traditional controllers have been explored too, but have shortcomings such as being model-based, parameter-dependant, or so. Additionally, the nature of some objects implies the involvement of multiple vehicles to manipulate them, making the manipulation mission even harder. Collaboration of AUVs is a strong challenge since underwater communications are limited or null. An advanced control strategy dealing with the trajectory tracking and the station-keeping problem would be desirable for simplicity and robustness. If this controller could also help coordinate multiple vehicles without requiring them to communicate with each other, it would make collaborative manipulation tasks reachable. For this purpose, a model-free high-order Sliding Mode Controller (SMC) is presented in this project. Unlike other control approaches, the proposed control strategy achieves finite-time convergence to a practical zero error in a time-base that the user can arbitrarily define. This characteristic will be used to coordinate the navigation of two AUVs to manipulate an object underwater. The performance of the proposed controller was evaluated by numerical simulations and experiments in a semi-Olympic swimming pool and compared with classic and state-of-the-art control strategies regarding trajectory tracking and station-keeping problems. Results have shown that the proposed controller can achieve finite-time convergence of the tracking errors to a practical zero value in the predefined time-base. Results also demonstrated that the convergence time could be arbitrarily selected by the user and achieved by the controller resulting in, as far as the author knows, the first controller with this characteristic for AUVs navigation. The simulations and experiments also showed that the proposed controller outperformed classical and state-of-the-art controllers regarding the Root Mean Square of the tracking errors and energy consumption. Finally, the proposed model-free high-order SMC coordinated two BlueROV2 vehicles in a collaborative manipulation mission without vehicle-to-vehicle communication. Numerical simulation results confirmed that the proposed controller could manage the vehicles to follow a predefined coordinated trajectory to approach, grip, transport, and release an object without communicating with each other.

Doctor of Philosophy In Engineering Science

INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LA INSTRUMENTACIÓN INGENIERÍA DE CONTROL INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA NAVAL VEHÍCULOS SUBMARINOS

Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

Manual para la cría masiva de Cyrtobagous salviniae utilizado en el control biológico de Salvinia molesta

MARICELA MARTINEZ JIMENEZ (2005, [Libro])

Este manual describe el proceso de cuarentena y cría masiva de Cyrtobagous Salviniae, para su uso en el control biológico integral de Salvinia molesta, considerado, después del lirio acuático, una de las principales malezas acuáticas del mundo.

Maleza acuática Contaminación del agua Control de malezas Control biológico BIOLOGÍA Y QUÍMICA

Drones y sistemas de información geográfica en la ingeniería hidroagrícola

WALDO OJEDA BUSTAMANTE JORGE FLORES VELAZQUEZ HELENE EMMI KARIN UNLAND WEISS (2014, [Documento de trabajo])

Los vehículos aéreos no tripulados, también conocidos como VANTs, UAVs, o más comúnmente drones, son una alternativa actual para estimar variables de interés hidroagrícola en forma remota. Ante el desarrollo que presentan los vehículos aéreo no tripulado, es de interés para el IMTA conocer las principales características y componentes de los drones más utilizados con fines agrícolas. Mediante el tratamiento de imágenes obtenidas por los VANTs, el IMTA puede contar con las herramientas tecnológicas para obtener información de las parcelas, cultivos, suelos, de la infraestructura hidroagrícola, etc.

Agricultura Monitoreo del ambiente Sistemas de Información Geográfica Aviones no tripulados Informes de proyectos INGENIERÍA Y TECNOLOGÍA

Desarrollo de tecnología de operación de módulos de riego de asociaciones civiles de usuarios (continuación del ICAM-Riego)

JOSE JAVIER RAMIREZ LUNA (2011, [Documento de trabajo])

Durante la transferencia de sistemas es muy común que se vayan realizando cambios en los mismos, pues es importante para el IMTA que sus sistemas queden a la medida de las necesidades de los usuarios. Los sistemas que integran el sistema ICAM-RIEGO tienen la particularidad de que, durante su implantación en los diferentes distritos de riego, se vayan adecuando a las necesidades de los usuarios. El reporte tiene la finalidad de informar los cambios y actualizaciones que se solicitaron y se realizaron a los programas del ICAM-RIEGO, en especial al sistema de facturación. Dichos cambios consistieron principalmente en la asignación de la toma parcelaria por donde será surtido el riego; la clave otorgada a la factura, indica el servicio de riego autorizado en la parcela; el número de riego pagado por el productor; el volumen pagado en la factura corresponde al riego siguiente que el agricultor aplicará; y realizar el cobro a partir del último pago efectuado en la parcela.

Distritos de riego Organización y administración Sistemas de información Informes de proyectos CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA

Geoportal para consulta del acervo institucional de información geográfica

JORGE ENRIQUE BRENA ZEPEDA JAIME VELAZQUEZ ALVAREZ CERVANDO CASTILLO ROMANO (2014, [Documento de trabajo])

Este proyecto tuvo como objetivo principal el desarrollo de una aplicación informática para la consulta, descarga y administración de la información que compone el acervo de datos geográficos de la Coordinación de hidrología. Esta primera etapa se enfocó al almacenamiento, consulta y descarga de imágenes de satélite, dado que éstas representan el mayor porcentaje de datos

del acervo.

Informes de proyectos Geografía Sistemas de información Programas de computación INGENIERÍA Y TECNOLOGÍA

Mapa nacional de números de escurrimiento (N)

Ben-Hur Ruiz Morelos PEDRO RIVERA RUIZ (2016, [Documento de trabajo])

En este trabajo se describe la metodología de cálculo para determinar de manera ágil el número de escurrimiento medio en cuencas nacionales, a partir de un mapa nacional de número de escurrimiento elaborado con datos geográficos digitales en escala 1:250 000, con la finalidad de contar con una herramienta que apoye en la solución de diversos problemas hidrológicos relacionados con el diseño y operación de proyectos de ingeniería para el control y aprovechamiento del agua.

Cuencas Coeficiente de escorrentía Sistemas de computación CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA

Estudio para la planeación productiva en los municipios de Amealco de Bonfil y Huimilpan

JOSE JAVIER RAMIREZ LUNA (2018, [Documento de trabajo])

El proyecto tuvo como objetivo realizar un plan de producción sustentable en los municipios de Amealco de Bonfil y Huimilpan en el estado de Querétaro, considerando: a) Integrar un Sistema de Información Geográfica (SIG) con mapas de elevación, variables climáticas, especies frutales nativas e introducidas y de valoración del potencial productivo de especies frutales a introducir, de acuerdo a las variables climáticas estudiadas; b) Capacitar a los habitantes de los municipios de Amealco de Bonfil y Huimilpan, así como al personal de SEDEA, sobre el tema uso eficiente del agua y energía renovable, con actividades de cosecha de agua y suelo, a fin de sensibilizar a los habitantes de dichas áreas productivas; y c) Integrar tres proyectos ejecutivos de sistemas productivos pilotos seleccionados en las áreas más adaptadas a la introducción de frutales y cultivos de hortaliza que involucren tecnologías de cosecha de agua de lluvia y/o manantiales, sistemas de fertirriego adaptados a área de montaña y suministro de energía eléctrica renovable y/o fósil.

Producción agrícola Desarrollo sustentable Sistemas de información geográfica Uso eficiente del agua INGENIERÍA Y TECNOLOGÍA

El IMTA y el control biológico de maleza acuática en distritos de riego del país (experiencias desde 1990)

OVIDIO CAMARENA MEDRANO (2012, [Libro])

Este trabajo pretende dejar constancia de la trayectoria del Programa de Control de Maleza Acuática y de sus logros, además de plantear la necesidad de que las propuestas se consideren en la política nacional de manejo de maleza acuática, para obtener un mejor aprovechamiento de los recursos agua y suelo en los distritos de riego.

Control de maleza Malezas acuáticas Distritos de riego Control biológico INGENIERÍA Y TECNOLOGÍA

Geoportal para acceso y consulta del acervo institucional de información geográfica: segunda parte

JORGE ENRIQUE BRENA ZEPEDA JAIME VELAZQUEZ ALVAREZ CERVANDO CASTILLO ROMANO (2015, [Documento de trabajo])

El informe describe la metodología y los resultados obtenidos para el desarrollo del proyecto. Se presentan los módulos de consulta, descarga y administración de los modelos digitales de elevación LIDAR y Ortofotos que componen el acervo de datos geográficos de la Coordinación de hidrología, así también la carga de imágenes correspondientes al satélite SPOT 5.

Informes de proyectos Geografía Sistemas de información Programas de computación INGENIERÍA Y TECNOLOGÍA