Statistical machine-learning methods for genomic prediction using the SKM library

Osval Antonio Montesinos-Lopez Brandon Alejandro Mosqueda González Jose Crossa (2023, [Artículo])

Sparse Kernel Methods R package Statistical Machine Learning Genomic Selection CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA MARKER-ASSISTED SELECTION MACHINE LEARNING GENOMICS METHODS

Teacher training in the state of Chihuahua: Between the health challenge and teacher resilience

Evangelina Cervantes Holguín Pavel Roel Gutiérrez Sandoval Cely Celene Ronquillo Chávez (2023, [Artículo, Artículo])

 

The article proposes to recover the response of the Teacher Training and Updating Institutions in the state of Chihuahua regarding the various challenges imposed by the Coronavirus Disease (COVID-19). The qualitative exercise analyzes the experience of 10 institutions based on the voice of their students, teachers, and principals regarding changes in academic, administrative, and organizational processes. It is concluded that the pandemic has affected each institution in different ways and with diverse intensity. Despite the achievements, the experience analyzed reveals the relative success of the using virtual platforms in the face of three basic conditions: connectivity, technological competencies, and socio-emotional skills of the teaching staff. It highlights the importance of implementing tutoring, resilience, or awareness actions of teachers and students' needs, feelings, and sufferings. It is opportune to recover the experiences of other institutions and to question especially students, thesis students and graduates.

Acceso a la educación Aprendizaje en línea Educación a distancia Formación de docentes Tecnología educacional HUMANIDADES Y CIENCIAS DE LA CONDUCTA HUMANIDADES Y CIENCIAS DE LA CONDUCTA Access to education online learning distance education teacher education educational technology

Una articulación fundamental: la emancipación

Nicolás Amoroso Boelcke (2023, [Capítulo de libro])

El concepto, la circunstancia de la enseñanza que aquí abordaremos, tiene el propósito de restituir ciertas situaciones que corresponden al propio ejercicio de la instrucción y a aquellas otras que hablan del acontecer, por ello el trabajo. Tiene las variables tanto de la experiencia real como de las otras sobre las que se han escrito, una de ellas, al final, plantea una situación paradójica que se refiere a la del maestro ignorante que, básicamente, tiene como propósito mostrar que el conocimiento es algo que está en el alumno y que el docente debe limitarse a tratar de que aflore y se exprese de la mejor manera posible. Nos habla de la independencia y de las características que puede tener una educación rigurosa y rígida, en contraposición con una más flexible. Lo mismo sucede con el pensamiento desde nuestra América, de la educación dependiente a una educación libertaria.

The concept, the circumstance of the teaching that we will address here has the purpose of restoring certain situations that correspond to the exercise itself as those others that speak of the happening for it the work. It has the variables of real experience as of the others about which they have been written, one of them, in the end, poses a paradoxical situation that refers to that of the ignorant teacher that, basically, has the purpose of showing that knowledge is something that is in the student and that the teacher must limit himself to trying to bring it out and express itself in the best possible way. It tells us about independence and the characteristics that a rigorous and rigid education can have with a more flexible one and the same happens with the thought from our America, from dependent education to a libertarian education.

Emancipación, docencia, alumnos, investigación, juego. Emancipation, teaching, students, research, play. Interaction analysis in education. Microteaching. Teacher-student relationships. Transformative learning. Educational innovations. Análisis de interacción en la educación. Relaciones maestro-estudiante. Aprendizaje transformador. Cambio educativo. LB1034 HUMANIDADES Y CIENCIAS DE LA CONDUCTA PEDAGOGÍA TEORÍA Y MÉTODOS EDUCATIVOS

Big data, small explanatory and predictive power: Lessons from random forest modeling of on-farm yield variability and implications for data-driven agronomy

Martin van Ittersum (2023, [Artículo])

Context: Collection and analysis of large volumes of on-farm production data are widely seen as key to understanding yield variability among farmers and improving resource-use efficiency. Objective: The aim of this study was to assess the performance of statistical and machine learning methods to explain and predict crop yield across thousands of farmers’ fields in contrasting farming systems worldwide. Methods: A large database of 10,940 field-year combinations from three countries in different stages of agricultural intensification was analyzed. Random effects models were used to partition crop yield variability and random forest models were used to explain and predict crop yield within a cross-validation scheme with data re-sampling over space and time. Results: Yield variability in relative terms was smallest for wheat and barley in the Netherlands and for wheat in Ethiopia, intermediate for rice in the Philippines, and greatest for maize in Ethiopia. Random forest models comprising a total of 87 variables explained a maximum of 65 % of cereal yield variability in the Netherlands and less than 45 % of cereal yield variability in Ethiopia and in the Philippines. Crop management related variables were important to explain and predict cereal yields in Ethiopia, while predictive (i.e., known before the growing season) climatic variables and explanatory (i.e., known during or after the growing season) climatic variables were most important to explain and predict cereal yield variability in the Philippines and in the Netherlands, respectively. Finally, model cross-validation for regions or years not seen during model training reduced the R2 considerably for most crop x country combinations, while for wheat in the Netherlands this was model dependent. Conclusion: Big data from farmers’ fields is useful to explain on-farm yield variability to some extent, but not to predict it across time and space. Significance: The results call for moderate expectations towards big data and machine learning in agronomic studies, particularly for smallholder farms in the tropics where model performance was poorest independently of the variables considered and the cross-validation scheme used.

Model Accuracy Model Precision Linear Mixed Models CIENCIAS AGROPECUARIAS Y BIOTECNOLOGÍA MACHINE LEARNING SUSTAINABLE INTENSIFICATION BIG DATA YIELDS MODELS AGRONOMY

A line follower robot implementation using Lego's Mindstorms Kit and Q-Learning

VICTOR RICARDO CRUZ ALVAREZ ENRIQUE HIDALGO PEÑA HECTOR GABRIEL ACOSTA MESA (2012, [Artículo])

Un problema común al trabajar con robots móviles es que la fase de programación puede ser un proceso largo, costoso y difícil para los programadores. Los Algoritmos de Aprendizaje por Refuerzo ofrecen uno de los marcos de trabajo más generales en el ámbito de aprendizaje de máquina. Este trabajo presenta un enfoque usando el algoritmo de Q-Learning en un robot Lego para que aprenda "por sí mismo" a seguir una línea negra dibujada en una superficie blanca. El entorno de programación utilizado en este trabajo es Matlab.

INGENIERÍA Y TECNOLOGÍA Algoritmos de aprendizaje reforzado Q-learning (Algoritmo de aprendizaje reforzado) Lego Mindstorms (Robótica) Matlab Reinforcement learning algorithms Q-Learning (Reinforcement learning algorithm) Lego Mindstorms (Robotics) Matlab

Predicción de actividad antimicrobiana usando modelos de escala evolutiva a través de un flujo de trabajo en la plataforma KNIME

Prediction of antimicrobial activity using models of evolutionary scale through a workflow in the KNIME platform

Karla Lorena MartÍnez Mauricio (2023, [Tesis de maestría])

Dentro de las estrategias para combatir la resistencia antimicrobiana, se está llevando a cabo investigación para la creación de nuevos fármacos basados en péptidos antimicrobianos. En los últimos años, se han realizado esfuerzos para incorporar herramientas computacionales que ayuden a acelerar la identificación de péptidos con actividad antimicrobiana. Una de estas herramientas son los modelos QSAR basados en aprendizaje tradicional, que permiten predecir la actividad antimicrobiana en péptidos a partir de información basada en su secuencia. Un componente clave en este proceso es el tipo de características moleculares a utilizar. Recientemente, ha surgido una familia de modelos pre-entrenados llamados ESM-2, los cuales generan incrustaciones (características) que fueron aprendidas a partir de 65 millones de secuencias que abarcan diversidad evolutiva. En este trabajo de tesis, se analiza la contribución de las incrustaciones ESM-2 de diferentes dimensiones de forma individual y en conjunto en el desarrollo de modelos QSAR basados en aprendizaje tradicional para la clasificación de péptidos antimicrobianos, así como sus tipos funcionales, como antibacteriano, antifúngico y antiviral. A partir de este estudio se concluye que aumentar la capacidad de los modelos ESM-2 no implica una mejora en el rendimiento de los modelos para predecir péptidos antimicrobianos. Los modelos ESM-2 t30 y ESM-2 t33 son los más apropiados para extraer características y mejorar la exactitud en las predicciones de péptidos antimicrobianos. Además, fusionar características de diferentes incrustaciones ESM-2 es una estrategia efectiva para construir mejores modelos QSAR que el uso exclusivo de características derivadas de un modelo ESM-2 específico. Se construyeron modelos más simples con un rendimiento comparable o superior a los modelos basados en aprendizaje profundo reportados en la literatura. Para llevar a cabo este estudio se implementó un flujo de trabajo en KNIME que genera de forma automática hasta 1980 modelos de clasificación binaria basados en aprendizaje tradicional. Incorpora diversas técnicas de selección de características, algoritmos de clasificación, métricas de desempeño y una fase de limpieza de datos. Este flujo de trabajo se encuentra disponible en https://github.com/cicese-biocom/classification-QSAR-bioKom.

Molecular features play an important role in different bio-chem-informatics tasks, such as the Quantitative Structure-Activity Relationships (QSAR) modeling. Several pre-trained models have been recently created to be used in downstream tasks either by fine-tuning a specific model or by extracting features to feed traditional classifiers. In this sense, a new family of Evolutionary Scale Modeling models (termed as ESM-2 models) has been recently introduced, demonstrating outstanding results in structure protein prediction benchmarks. Herein, we are devoted to assessing the usefulness of different-dimensional embeddings derived from ESM-2 models in the prediction of antimicrobial peptides, given the great deal of attention received because of their potential to become a plausible option to mainly fight multi-drug resistant bacteria. To this end, we created a KNIME workflow to guarantee using the same modeling methodology, and consequently, carrying out fair comparisons. As a result, it can be drawn that the 640- and 1,280- dimensional embeddings are the most appropriate to be used in modeling because statistically better results were achieved from them. We also combined features from different embeddings, and we can draw that the fusion of features of different embeddings contributes to getting better models than only using a specific model ESM-2. Comparisons regarding state-of-the-art deep learning models confirm that when performing methodologically principled studies in the prediction of AMPs, non-DL based models yield comparable-to-superior results to DL-based models. The implemented KNIME workflow is availablefreely at https://github.com/cicese-biocom/classification-QSAR-bioKom. We consider that this workflow can be valuable to prevent unfair comparisons regarding new computational methods, as well as to propose new non-DL based models.

péptidos antimicrobianos, QSAR, aprendizaje automático ESM-2, KNIME antimicrobial peptides, QSAR, machine learning, ESM-2, KNIME INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES DISEÑO CON AYUDA DE ORDENADOR DISEÑO CON AYUDA DE ORDENADOR

Interfaces hápticas para identificar marcadores digitales del Trastorno del Espectro Autista

Haptic interfaces to identify digital markers of Autism Spectrum Disorder

GLORIA IVONNE MONARCA PINTLE (2023, [Tesis de doctorado])

El uso de herramientas de cribado durante la infancia es de suma importancia para identificar a niños que pueden Trastorno del Espectro Autista (TEA); sin embargo, las pruebas que existen en la actualidad se basan en cuestionarios y observaciones contestadas por los padres por lo que el resultado puede ser subjetivo. Además, la mayoría de las pruebas de cribado se enfocan en el área social y de comunicación, dejando a un lado las características sensoriales, un área donde los padres notan las primeras señales de un desarrollo atípico. En los últimos años, ha crecido el interés por identificar marcadores digitales del TEA que puedan apoyar el cribado de dicho trastorno, usando tecnología que pueda ser usada en cualquier lugar y momento para agilizar el proceso de cribado. Hasta el momento, la investigación en torno a marcadores digitales del TEA relacionados con el procesamiento táctil, ha sido poco explorada debido a que la investigación se ha centrado en explorar otros comportamientos, como la atención visual, movimientos motores, y voz. El crecimiento de las interfaces hápticas abre la posibilidad de explorar el procesamiento táctil e identificar marcadores digitales del TEA. En esta tesis exploramos si las interfaces hápticas pueden ser usadas para promover y recolectar interacciones táctiles que revelen marcadores digitales del TEA. Para tener un mejor entendimiento de las interfaces hápticas, en este trabajo de tesis exploramos dos interfaces hápticas. Una interfaz háptica pasiva llamada BendableSound, la cual cuenta con una retroalimentación por textura y espacio; y una interfaz háptica activa llamada Feel and Touch, la cual es un juego móvil que utiliza patrones vibrotactiles para retroalimentar las interacciones de los niños. Los resultados muestran que las interfaces hápticas tienen la capacidad recolectar interacciones táctiles y revelar marcadores digitales que pueden estar asociados al TEA. En el caso pasivo, participaron 37 niños neurotípicos (NT) y 22 niños con TEA quienes interactuar con BendableSound; los resultados muestran que existen diferencias entre los niños NT y TEA en cuanto al ancho de las interacciones táctiles, la fuerza que aplican y el tiempo que utilizan para realizar interacciones táctiles. En el caso activo, participaron 36 niños NT y 19 niños con TEA quienes interactuaron con Feel and Touch; los resultados muestran que existen diferencias entre los niños NT y TEA en cuanto a la ...

The use of screening tools during infancy is crucial to identify children who are likely to have Autism Spectrum Disorder (ASD); however, the current screening tests are based on questionnaires and observations that parents answer bases on their observations; however, the results might be subjective. In addition, most screening tests focus on the assessment of social and communication skills, disregard sensory skills, an area where parents often notice the first signals of ASD. In recent years, there has been growing interest in identifying digital markers of ASD that can support screening, particularly those that that can be used at any time and any place to speed up the screening process. So far, research on digital markers of ASD related to tactile processing has been little explored due to the lack of tools to assess it. The growth of haptic interfaces opens the possibility to explore tactile processing and identify digital markers of ASD. In this thesis, we propose to investigate the use of haptic interfaces to promote and collect tactile interactions that can reveal digital markers of ASD. To have a better understanding of haptic interfaces, in this thesis work we explore two types of haptic interface. A passive haptic interface called BendableSound, which features texture and spatial feedback; and an active haptic interface called Feel and Touch, which is a mobile game that uses vibrotactile patterns to provide feedback on children’s interactions. The results show that haptic interfaces have the potential to collect touch interactions and reveal digital markers that may be associated with ASD. In the first case, 37 neurotypical (NT) children and 22 children with ASD participated and interacted with BendableSound; the results show that there are differences between NT and ASD children in the width of tactile interactions, the force they apply, and the time they use to perform tactile interactions. In the second case, 36 NT children and 19 children with ASD participated and interacted with Feel and Touch; the results show that there are differences between NT and ASD children in terms of the tilt they produce on the mobile when performing tactile interactions, the total acceleration they produce, and the closeness to the center of the screen of their tactile interactions. The results of this thesis indicate that haptic interfaces have the ability to gather touch interactions and uncover digital markers associated with ASD. The findings of this ...

autismo, cribado, marcadores digitales, interfaces hápticas, aprendizaje automático autism, screnning, digital markers, haptic interfaces, machine learning INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES ORDENADORES DIGITALES ORDENADORES DIGITALES

Competencia socioemocional y toma de decisiones en el rendimiento académico de estudiantes universitarios

MAYRA DELGADO VILLALOBOS (2023, [Tesis de doctorado])

Las emociones sociales forman parte de la complejidad interna de una sociedad donde

confluyen niveles de estructura social: las interacciones entre sus individuos, los patrones

de relación entre ellos y sus principios de organización. Las emociones sociales subyacen

a esta complejidad e incluyen mecanismos de autorregulación que permiten a los

individuos desarrollar habilidades socioemocionales para evaluar cuándo y con quién

cooperar o competir, regular las respuestas emocionales y el comportamiento en

situaciones sociales, mantener relaciones de largo plazo, favorecer la prosocialidad y la

cohesión grupal. Estas habilidades son fundamentales en nuestros entornos culturales

dinámicos. Por ello, la OECD las considera habilidades del siglo XXI.

Desde una perspectiva interdisciplinar con énfasis en la cognición social, en la

presente investigación se revisó la importancia y la función de las emociones sociales, y

con base en los diferentes niveles de complejidad social se propone una distinción entre

habilidades y competencias socioemocionales. También se revisaron diversos enfoques

teóricos sobre estas competencias, así como la metodología para su evaluación en la

educación universitaria. Asimismo, se realizó un estudio exploratorio con un diseño

transversal y la muestra se conformó por 104 estudiantes universitarios. El modelo teórico

propuesto se probó mediante ecuaciones estructurales, encontrándose diferencias

significativas entre el compromiso académico y el rendimiento académico, la resiliencia

y el razonamiento.

Social emotions are part of the internal complexity of a society where levels of social

structure converge: the interactions between its individuals, the relationships patterns

between them and their organizational principles. Social emotions underlie this

complexity and include self-regulation mechanisms that allow individuals to develop

socioemotional skills to assess when and with whom to cooperate or compete, regulate

emotional responses and behavior in social situations, maintain long-term relationships,

promote prosociality and group cohesion. These skills are essential in our dynamic

cultural environments. For this reason, the OECD considers them 21st century skills.

From an interdisciplinary perspective with an emphasis on social cognition, this

research reviewed the importance and function of social emotions, and based on the

different levels of social complexity, a distinction between socio-emotional skills and

competencies is proposed. Various theoretical approaches to these competencies were

also reviewed, as well as the methodology for their evaluation in university education.

Likewise, an exploratory study was carried out with a cross-sectional design and the

sample consisted of 104 university students. The proposed theoretical model was tested

using structural equations, finding significant differences between academic commitment

and academic performance, resilience and reasoning.

HUMANIDADES Y CIENCIAS DE LA CONDUCTA PEDAGOGÍA cognición social, desarrollo socioemocional, competencias socioemocionales, evaluación socioemocional y aprendizaje socioemocional. social cognition, social-emotional development, social-emotional competencies, social-emotional assessment and social-emotional learning

Contratos inteligentes para la gestión de datos de sensado móvil y vestible para aplicaciones en salud

Smart contracts for mobile and wearable sensing data management for health applications

José Ricardo Cedeño García (2023, [Tesis de maestría])

El aumento en la producción de datos derivado de la adopción de tecnologías móviles y de IoT está revolucionando la salud, pero también plantea importantes retos éticos y de privacidad. Los recientes avances en el aprendizaje automático han resaltado la importancia de recopilar y etiquetar datos correctamente, en especial para fines críticos, como el desarrollo de aplicaciones para cuidados médicos. La recopilación de datos médicos para tareas de aprendizaje automático presenta limitaciones en cuanto a la cantidad, variedad y calidad de las fuentes disponibles. Una forma de abordar este dilema es el uso de Blockchain para la recopilación y el uso de datos de pacientes. El anonimato de una red centralizada permite proteger la identidad del paciente. La estructura formada por nodos permite que la información esté siempre disponible y no dependa de un servidor principal. La inmutabilidad de los registros en la cadena garantiza la trazabilidad inequívoca del flujo de los datos del paciente. Por último, los mecanismos de consenso y recompensa de la red podrían motivar a nuevos usuarios a participar del sensado activo. Presentamos TRHEAD, una arquitectura de referencia basada en la Blockchain para recopilar datos sanitarios, firmar consentimientos, anotar datos y obtener crédito por los mismos, permitiendo a los usuarios rastrear el uso de sus datos, a los científicos rastrear su procedencia y proteger al mismo tiempo la privacidad de los pacientes. Exponemos dos implementaciones de nuestra arquitectura aplicadas a distintas campañas de sensado para comprobar su viabilidad, así como los resultados de su aplicación en estos escenarios y las conclusiones que desprendieron de su análisis. Dado que uno de los objetivos principales de TRHEAD es la recopilación de datos mediante sensado activo para el entrenamiento legal/consciente de modelos de aprendizaje automático, se realizó el entrenamiento de un modelo con los datos obtenidos de la campaña de sensado correspondiente a imágenes de rostros humanos, con el fin de detectar estados de ánimo. Finalmente se discute el papel de TRHEAD en el aseguramiento del trato justo y consciente de la información de los pacientes y el camino por recorrer en el perfeccionamiento de la arquitectura.

The increase in data production resulting from the adoption of mobile and IoT technologies is revolutionizing healthcare, but it also poses significant ethical and privacy challenges. Recent advances in machine learning have highlighted the importance of collecting and labeling data correctly, especially for critical purposes such as deploying healthcare software. Collecting medical data for machine learning tasks presents limitations in terms of the quantity, variety, and quality of available sources. One way to address this dilemma is the use of Blockchain for the collection and use of patient data. The anonymity of a centralized network allows the patient’s identity to be protected. The structure formed by nodes allows information to be always available and not dependent on a main server. The immutability of the records in the chain guarantees the unequivocal traceability of the flow of patient data. Finally, the network’s consensus and reward mechanisms could motivate new users to participate in active sensing. We present TRHEAD, a Blockchain-based reference architecture for collecting healthcare data, signing consents, annotating data and getting credit for it, allowing users to track the use of their data, scientists to track its provenance while protecting patients privacy. We present two implementations of our architecture applied to different sensing campaigns to test their feasibility, as well as the results of their application in these scenarios and the conclusions drawn from those results. Since one of the main objectives of TRHEAD is the collection of data through active sensing for the legal/conscious training of machine learning models, a model was trained with the data obtained from the sensing campaign corresponding to images of human faces, in order to detect moods. Finally, the role of TRHEAD in ensuring the fair and conscientious treatment of patient information and the road ahead in refining the architecture is discussed.

Contratos Inteligentes, Blockchain, Privacidad, Aprendizaje de Máquina Etico, Recopilación Consciente de Datos, Consentimiento, Arquitectura de Referencia Smart Contracts, Blockchain, Privacy, Ethical Machine Learning, Conscious Data Collection, Consent, Reference Architecture INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL