Study, suspend and optimization a spread of epidemic infections. The dynamic Monte Carlo approach

Gennadiy Burlak (2020, [Artículo])

We study a dynamics of the epidemiological infection spreading at different values of the risk factor β (a control parameter) with the using of dynamic Monte Carlo approach (DMC). In our toy model, the infection transmits due to contacts of randomly moving individuals. We show that the behavior of recovered critically depends on theβ value. For sub-critical valuesβ<βc~0.6, the number of infected cases asymptotically converges to zero, such that for a moderate risk factor the infection may disappear with time. Our simulations shown that over time, the properties of such a system asymptotically become close to the critical transition in 2D percolation system. We also analyzed a next ended system, which includes two additional parameters: the limits of taking on/off quarantine state. It is found that the early quarantine off does result in the irregular (with positive Lyapunov exponent) oscillatory dynamics of infection. If the lower limit of the quarantine off is small enough, the recovery dynamics acquirers a characteristic non monotonic shape with several damped peaks. The dynamics of infection spreading in case of the individuals with immunity is studied too.

Estudiamos una dinámica de la propagación de la infección epidemiológica a diferentes valores del factor de riesgo β (un parámetro de control) con el uso del enfoque dinámico de Monte Carlo (DMC). En nuestro modelo de juguete, la infección se transmite debido a los contactos de individuos que se mueven al azar. Mostramos que el comportamiento de los individuos recuperados depende críticamente del valor de β. Para valores subcríticos β<βc~0,6, el número de casos infectados converge asintóticamente a cero, de modo que para un factor de riesgo moderado la infección puede desaparecer con el tiempo. Nuestras simulaciones mostraron que, con el tiempo, las propiedades de dicho sistema se acercan asintóticamente a la transición crítica en el sistema de percolación2D. También analizamos un sistema extendido, que incluye dos parámetros adicionales: los límites de activación/desactivación del estado de cuarentena. Se encuentra que la cuarentena temprana da como resultado la dinámica oscilatoria irregular (con exponente de Lyapunov positivo) de la infección. Si el límite inferior de la cuarentena es lo suficientemente pequeño, la dinámica de recuperación adquiere una forma característica no monótona con varios picos amortiguados. También se estudia la dinámica de la propagación de la infección en el caso de los individuos con inmunidad.

INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS optimization of a spread of epidemic infections; dynamic Monte Carlo, numeric simulations.

Control de sistemas usando aprendizaje de máquina

Systems control using machine learning

Jesús Martín Miguel Martínez (2023, [Tesis de maestría])

El aprendizaje por refuerzo es un paradigma del aprendizaje de máquina con un amplio desarrollo y una creciente demanda en aplicaciones que involucran toma de decisiones y control. Es un paradigma que permite el diseño de controladores que no dependen directamente del modelo que describe la dinámica del sistema. Esto es importante ya que en aplicaciones reales es frecuente que no se disponga de dichos modelos de manera precisa. Esta tesis tiene como objetivo implementar un controlador óptimo en tiempo discreto libre de modelo. La metodología elegida se basa en algoritmos de aprendizaje por refuerzo, enfocados en sistemas con espacios de estado y acción continuos a través de modelos discretos. Se utiliza el concepto de función de valor (Q-función y función V ) y la ecuación de Bellman para resolver el problema del regulador cuadrático lineal para un sistema mecánico masa-resorte-amortiguador, en casos donde se tiene conocimiento parcial y desconocimiento total del modelo. Para ambos casos las funciones de valor son definidas explícitamente por la estructura de un aproximador paramétrico, donde el vector de pesos del aproximador es sintonizado a través de un proceso iterativo de estimación de parámetros. Cuando se tiene conocimiento parcial de la dinámica se usa el método de aprendizaje por diferencias temporales en un entrenamiento episódico, que utiliza el esquema de mínimos cuadrados con mínimos cuadrados recursivos en la sintonización del crítico y descenso del gradiente en la sintonización del actor, el mejor resultado para este esquema es usando el algoritmo de iteración de valor para la solución de la ecuación de Bellman, con un resultado significativo en términos de precisión en comparación a los valores óptimos (función DLQR). Cuando se tiene desconocimiento de la dinámica se usa el algoritmo Q-learning en entrenamiento continuo, con el esquema de mínimos cuadrados con mínimos cuadrados recursivos y el esquema de mínimos cuadrados con descenso del gradiente. Ambos esquemas usan el algoritmo de iteración de política para la solución de la ecuación de Bellman, y se obtienen resultados de aproximadamente 0.001 en la medición del error cuadrático medio. Se realiza una prueba de adaptabilidad considerando variaciones que puedan suceder en los parámetros de la planta, siendo el esquema de mínimos cuadrados con mínimos cuadrados recursivos el que tiene los mejores resultados, reduciendo significativamente ...

Reinforcement learning is a machine learning paradigm with extensive development and growing demand in decision-making and control applications. This technique allows the design of controllers that do not directly depend on the model describing the system dynamics. It is useful in real-world applications, where accurate models are often unavailable. The objective of this work is to implement a modelfree discrete-time optimal controller. Through discrete models, we implemented reinforcement learning algorithms focused on systems with continuous state and action spaces. The concepts of value-function, Q-function, V -function, and the Bellman equation are employed to solve the linear quadratic regulator problem for a mass-spring-damper system in a partially known and utterly unknown model. For both cases, the value functions are explicitly defined by a parametric approximator’s structure, where the weight vector is tuned through an iterative parameter estimation process. When partial knowledge of the dynamics is available, the temporal difference learning method is used under episodic training, utilizing the least squares with a recursive least squares scheme for tuning the critic and gradient descent for the actor´s tuning. The best result for this scheme is achieved using the value iteration algorithm for solving the Bellman equation, yielding significant improvements in approximating the optimal values (DLQR function). When the dynamics are entirely unknown, the Q-learning algorithm is employed in continuous training, employing the least squares with recursive least squares and the gradient descent schemes. Both schemes use the policy iteration algorithm to solve the Bellman equation, and the system’s response using the obtained values was compared to the one using the theoretical optimal values, yielding approximately zero mean squared error between them. An adaptability test is conducted considering variations that may occur in plant parameters, with the least squares with recursive least squares scheme yielding the best results, significantly reducing the number of iterations required for convergence to optimal values.

aprendizaje por refuerzo, control óptimo, control adaptativo, sistemas mecánicos, libre de modelo, dinámica totalmente desconocida, aproximación paramétrica, Q-learning, iteración de política reinforcement learning, optimal control, adaptive control, mechanical systems, modelfree, utterly unknown dynamics, parametric approximation, Q-learning, policy iteration INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES INTELIGENCIA ARTIFICIAL INTELIGENCIA ARTIFICIAL

Assessing the Response of Nematode Communities to Climate Change-Driven Warming: A Microcosm Experiment

RUTH GINGOLD WERMUTH (2013, [Artículo])

Biodiversity has diminished over the past decades with climate change being among the main responsible factors. One consequence of climate change is the increase in sea surface temperature, which, together with long exposure periods in intertidal areas, may exceed the tolerance level of benthic organisms. Benthic communities may suffer structural changes due to the loss of species or functional groups, putting ecological services at risk. In sandy beaches, free-living marine nematodes usually are the most abundant and diverse group of intertidal meiofauna, playing an important role in the benthic food web. While apparently many functionally similar nematode species co-exist temporally and spatially, experimental results on selected bacterivore species suggest no functional overlap, but rather an idiosyncratic contribution to ecosystem functioning. However, we hypothesize that functional redundancy is more likely to observe when taking into account the entire diversity of natural assemblages. We conducted a microcosm experiment with two natural communities to assess their stress response to elevated temperature. The two communities differed in diversity (high [HD] vs. low [LD]) and environmental origin (harsh vs. moderate conditions). We assessed their stress resistance to the experimental treatment in terms of species and diversity changes, and their function in terms of abundance, biomass, and trophic diversity. According to the Insurance Hypothesis, we hypothesized that the HD community would cope better with the stressful treatment due to species functional overlap, whereas the LD community functioning would benefit from species better adapted to harsh conditions. Our results indicate no evidence of functional redundancy in the studied nematofaunal communities. The species loss was more prominent and size specific in the HD; large predators and omnivores were lost, which may have important consequences for the benthic food web. Yet, we found evidence for alternative diversity-ecosystem functioning relationships, such as the Rivets and the Idiosyncrasy Model. © 2013 Gingold et al.

aquaculture, article, bacterivore, benthos, biodiversity, biomass, climate, community dynamics, controlled study, ecosystem, environmental temperature, microcosm, nematode, nonhuman, population abundance, species diversity, species richness, taxonomy CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA CIENCIAS DE LA TIERRA Y DEL ESPACIO OCEANOGRAFÍA OCEANOGRAFÍA