Realidad virtual en fenómenos del espacio interestelar

Antonio Luciano Hernández Padilla (2024, [Tesis de maestría])

153 páginas. Maestría en Diseño y Visualización de la Información.

El proyecto es un prototipo que se distribuye en varias etapas y sigue un enfoque de diseño de videojuegos para crear una experiencia de realidad virtual (también conocida como VR Virtual Reality) organizada y coherente. Requiere una fusión de conceptos multidisciplinarios, incluyendo ingeniería, diseño tridimensional y programación, lo que demanda a los profesionales involucrados tener sólidos conocimientos y habilidades creativas. El diseño de videojuegos se valora como un proceso que exige dedicación y pasión, aunque también se destaca la importancia de establecer reglas y géneros para orientar el desarrollo del juego. En este proyecto, el juego se clasifica como una aventura en primera persona centrada en la exploración del espacio interestelar, donde el jugador debe seguir reglas preestablecidas para alcanzar objetivos. La ludología, como estudio académico de los juegos, resalta la constante esencia de jugar, aprender y socializar en los juegos. La construcción del mundo del juego se basa en un Game Design Document que describe la visión, género y objetivos del juego. "Space Travel" se centra en la exploración espacial y cuenta con una nave espacial minimalista y un exoplaneta rocoso y gélido. Las mecánicas del juego se centran en la recolección de objetos y su activación, con reglas que guían la interacción del jugador con el entorno. Este proyecto busca ofrecer una experiencia de VR inmersiva y atractiva, centrada en el usuario. El enfoque en los principios de diseño de videojuegos y la planificación a través del Game Design Document demuestran un compromiso con la creación de una experiencia gratificante y significativa. La atención a la inmersión y las mecánicas de juego respaldan la afirmación de que es un desarrollo centrado en la experiencia del usuario.

The ongoing project is a prototype in various stages, following a game design approach to create an organized and coherent virtual reality experience. It requires a fusion of multidisciplinary concepts, including engineering, three-dimensional design, and programming, demanding that involved professionals possess strong knowledge and creative skills. Game design is valued as a process that demands dedication and passion, while also emphasizing the importance of establishing rules and genres to guide game development. In this project, the game is classified as a first-person adventure focused on interstellar space exploration, where the player must adhere to preset rules to achieve objectives. Ludology, as an academic study of games, highlights the constant essence of playing, learning, and socializing within games. The construction of the game world is based on a Game Design Document describing the vision, genre, and objectives of the game. "Space Travel" focuses on space exploration, featuring a minimalist spaceship and an icy, rocky exoplanet. Game mechanics revolve around object collection and activation, with rules guiding the player's interaction with the environment. This project aims to deliver an immersive and engaging virtual reality experience centered on the user. The focus on game design principles and planning through the Game Design Document demonstrates a commitment to creating a rewarding and meaningful experience. Attention to immersion and game mechanics supports the assertion that it's a user experience focused development.

Espacio, realidad, virtual, interactividad, diseño, experiencia, usuario. Space, Virtual, Reality, interactivity, design, user, experience. Video games--Design. Outer space--Exploration. Video games--Programming. VRML (Computer program language) Three-dimensional display systems. Videojuegos -- Diseño. Espacio exterior -- Exploración. Diseño de sistemas centrado en el usuario. QA76.76.C672 INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES DISEÑO CON AYUDA DE ORDENADOR

Detección de comportamiento no verbal en interacción humano-robot

Detection of non-verbal behavior in human-robot interaction

Ernesto Adrián Lozano De la Parra (2023, [Tesis de maestría])

La comunicación no verbal desempeña un papel vital en la interacción humana. En el contexto de la interacción humano-robot (IHR), los robots sociales están diseñados principalmente para la comunicación verbal con los humanos, dejando a la comunicación no verbal como un área de investigación abierta. En este trabajo, se presenta una arquitectura flexible y abierta llamada Software Arquitechture for Nonverbal Interaction in Human-Robot Interaction (SANI-HRI) diseñada para facilitar las interacciones no verbales en IHR. Entre sus componentes se encuentra un Cuaderno Computacional P2P basado en navegador web, aprovechado para codificar, ejecutar y compartir programas reactivos. Pueden incluirse modelos de aprendizaje automático para el reconocimiento en tiempo real de gestos, poses y estados de ´animo, empleando protocolos como MQTT. Otro componente clave es un Broker para distribuir datos entre distintos dispositivos físicos, como robots, dispositivos vestibles y sensores ambientales, así como modelos de aprendizaje automático que comprendan diferentes tipos de datos. Se demuestra la utilidad de esta arquitectura mediante tres escenarios de interacción: (i) el primero que emplea la proxémica y la dirección de la mirada para iniciar un encuentro improvisado, (ii) un segundo que utiliza técnicas de visión por computadora para detectar y analizar expresiones faciales y corporales, así como el uso sensores biométricos para obtener datos de ritmo cardiaco durante una rutina de ejercicio, y (iii) un tercero que incorpora el reconocimiento de objetos y Modelos de Lenguaje Grandes para sugerir comidas a cocinar en función de los ingredientes disponibles. Estos escenarios ilustran cómo los componentes de la arquitectura pueden integrarse para abordar nuevos escenarios, en los que los robots necesitan inferir señales no verbales de los usuarios.

Nonverbal communication plays a vital role in human interaction. In the context of Human-Robot Interaction (HRI), social robots are designed primarily for verbal-based communication with humans, making nonverbal communication an open research area. We present a flexible, open framework called Software Architecture for Nonverbal Interaction in Human-Robot Interaction (SANI-HRI) designed to facilitate nonverbal interactions in HRI. Among its components it has a P2P Browser-Based Computational Notebook, leveraged to code, run, and share reactive programs. Machine-learning models can be included for real-time recognition of gestures, poses, and moods, employing protocols such as MQTT. Another key component is a broker for distributing data among different physical devices like the robot, wearables, and environmental sensors and also machine learning models. We demonstrate this framework’s utility through three interaction scenarios: (i) the first one employing proxemics and gaze direction to initiate an impromptu encounter, (ii) a second that uses computer vision techniques to detect and analyze facial and body expressions, as well as the use of biometric sensors to obtain heart rate data during a workout routine, and (iii) a third one incorporating object recognition and a Large-Language Model to suggest meals to be cooked based on available ingredients. These scenarios illustrate how the framework’s components can be seamlessly integrated to address new scenarios, where robots need to infer nonverbal cues from users.

Interacción humano-robot, Comunicación no verbal, Broker MQTT, Notebook computacional, Modelos linguísticos grandes, SANI-HRI Human-robot interaction, Nonverbal communication, Broker MQTT, Computational notebook, Large language models, SANI-HRI INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES SISTEMAS DE RECONOCIMIENTO DE CARACTERES SISTEMAS DE RECONOCIMIENTO DE CARACTERES

Detección de eventos violentos en publicaciones de redes sociales

Detection of violent events in social media publications

Esteban Ponce León (2023, [Tesis de maestría])

En los últimos años, ha habido un interés creciente en el monitoreo de redes sociales para recopilar información y, en algunos casos, para examinar la ocurrencia de delitos. Sin embargo, gran parte de las investigaciones hasta ahora solo se han centrado en ciudades de EE. UU. o extranjeras, y por ende, en publicaciones y conjuntos de datos en inglés El objetivo principal de esta tesis es diseñar un método que permita la identificación de publicaciones de eventos violentos en español y en Twitter, utilizando información multimodal y técnicas de aumento de datos que mejoren el rendimiento de los modelos. Para esto, el trabajo de investigación se dividió en dos fases experimentales. La primera orientada a identificar publicaciones a partir de solo texto, explorando diferentes técnicas de aumento de datos para texto y modelos de aprendizaje máquina y profundo. En la segunda fase, se extendió el método propuesto para abordar la identificación en un contexto multimodal, es decir, considerando tanto los textos de los tweets como las imágenes compartidas que los acompañan. En este caso el método propuesto consideró utilizar descripciones textuales de las imágenes y abordar la problemática desde el dominio textual, además se hicieron 2 tipos de aumento de datos para cada tipo de información. La evaluación de los métodos se hizo utilizando las colecciones de la tarea de evaluación DA-VINCIS 2022 y 2023. Los resultados demostraron una mejora en el rendimiento de los modelos al considerar el uso de información multimodal y el uso de aumento de datos.

In recent years, there has been a growing interest in monitoring social networks to gather information and, in some cases, to examine the occurrence of crime. However, much of the research so far has only focused on US or foreign cities, and thus on English-language publications and data sets. The main objective of this thesis is to design a method that allows the identification of publications of violent events in Spanish and on Twitter, using multimodal information and data augmentation techniques that improve the performance of the models. For this, the research work was divided into two experimental phases. The first aimed at identifying publications from only text, exploring different data augmentation techniques for text and machine and deep learning models. In the second phase, the proposed method was extended to address identification in a multimodal context, that is, considering both the texts of the tweets and the shared images that accompany them. In this case, the proposed method considered using textual descriptions of the images and addressing the problem from the textual domain, in addition, 2 types of data augmentation were made for each type of information. The evaluation of the methods was done using the collections of the DA-VINCIS 2022 and 2023 evaluation task. The results demonstrated an improvement in the performance of the models when considering the use of multimodal information and the use of data augmentation.

Detección de Violencia, Redes Sociales, Aumento de Datos, Procesamiento del Lenguaje Natural, BERT, BETO, Descripción de Imágenes Violence Detection, Social Networks, Data Augmentation, Natural Language Processing, BERT, BETO, Image Captioning INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES MODELOS CAUSALES MODELOS CAUSALES

Reconocimiento continuo de la Lengua de Señas Mexicana

Continuous recognition of Mexican Sign Language

Ricardo Fernando Morfín Chávez (2023, [Tesis de maestría])

La Lengua de Señas Mexicana (LSM) es la lengua utilizada por la comunidad Sorda en México, y, a menudo, subestimada y pasada por alto por la comunidad oyente, lo que resulta en la exclusión sistemática de las personas Sordas en diversos aspectos de la vida. Sin embargo, la tecnología puede desempeñar un papel fundamental en acercar a la comunidad Sorda con la comunidad oyente, promoviendo una mayor inclusión y comprensión entre ambas. El objetivo principal de este trabajo es diseñar, implementar y evaluar un sistema de reconocimiento continuo de señas estáticas en LSM mediante, visión por computadora y técnicas de aprendizaje máquina. Se establecieron objetivos específicos, que incluyen la generación de un conjunto de datos de señas estáticas, pertenecientes al alfabeto manual de la LSM, el diseño de un modelo de reconocimiento, y la evaluación del sistema, tanto en la modalidad aislada como en la continua. La metodología involucra dos evaluaciones distintas. La primera se enfoca en el reconocimiento de señas estáticas en el dominio aislado, para ello se capturaron datos de 20 participantes realizando movimientos de la mano en múltiples ángulos. Se evaluaron diversas técnicas de aprendizaje automático, destacando que el enfoque basado en Máquinas de Soporte Vectorial (SVM) obtuvo los mejores resultados (F1-Score promedio del 0.91). La segunda evaluación se concentra en el reconocimiento continuo de señas estáticas, con datos recopilados de seis participantes con diferentes niveles de competencia en LSM, logrando un rendimiento sólido con errores cercanos al 7 %. Además, se evaluó la viabilidad del sistema en aplicaciones de tiempo real, demostrando un excelente desempeño (velocidad promedio de procesamiento de 45 cuadros por segundo). A pesar de los logros alcanzados, es importante reconocer que este proyecto se centró en el reconocimiento continuo de señas estáticas en LSM. Queda pendiente, como un desafío interesante, la exploración del reconocimiento continuo de señas dinámicas en LSM para futuras investigaciones. Se considera esencial explorar enfoques orientados a la escalabilidad y aplicaciones en tiempo real en investigaciones posteriores.

This study focuses on the continuous recognition of static signs in Mexican Sign Language (Lengua de Señas Mexicana (LSM)), the language used by the Deaf community in Mexico. Despite its significance, LSM is often underestimated and overlooked, leading to the systematic exclusion of Deaf individuals in various aspects of life. The primary objective of this work is to design, implement, and evaluate a continuous static sign recognition system in LSM using computer vision and machine learning techniques. Specific goals were established, including the creation of a dataset of static signs belonging to the manual alphabet of LSM, the design of a recognition model, and the evaluation of the system in both isolated and continuous modes. The methodology involves two distinct evaluations. The first one focuses on the recognition of static signs in the isolated domain, for which data from 20 participants performing hand movements at various angles were collected. Various machine learning techniques were evaluated, with the Máquinas de Soporte Vectorial (SVM)-based approach achieving the best results (average F1-Score of 0.91). The second evaluation centers on the continuous recognition of static signs, using data collected from six participants with varying levels of competence in LSM, achieving robust performance with errors close to 7 %. Furthermore, the feasibility of the system in real-time applications was assessed, demonstrating excellent performance (average processing speed of 45 frames per second). Despite the achievements, it is important to recognize that this project focused on continuous recognition of static signs in LSM. It remains an interesting challenge to explore the continuous recognition of dynamic signs in LSM for future research. It is considered essential to explore scalability-oriented approaches and real-time applications in subsequent investigations.

Lengua de Señas Mexicana (LSM), visión por computadora, aprendizaje automático, alfabeto manual de la LSM, reconocimiento automático de señas estáticas, reconocimiento aislado de señas, reconocimiento continuo de señas, aplicacion Mexican Sign Language (LSM), computer vision, machine learning, LSM manual alpahbet, automatic recognition of static signs, isolated sign recognition, continuous sign recognition, real-time aplications INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES ENSEÑANZA CON AYUDA DE ORDENADOR ENSEÑANZA CON AYUDA DE ORDENADOR