Título
Using a Markov random field for image Re-ranking based on visual and textual features
Utilizando un campo aleatorio de Markov para el reordenamiento de imágenes basado en atributos Visuales y textuales
Autor
Ricardo Omar Chavez García
Manuel Montes y Gómez
Luis Enrique Sucar Succar
Nivel de Acceso
Acceso Abierto
Materias
Image Re-ranking - (IMAGE RE-RANKING) Image Retrieval - (IMAGE RETRIEVAL) Markov Random Field - (MARKOV RANDOM FIELD) Relevance Feedback - (RELEVANCE FEEDBACK) Re-ordenamiento de Imágenes - (RE-ORDENAMIENTO DE IMÁGENES) Recuperación de Imágenes - (RECUPERACIÓN DE IMÁGENES) Campos Aleatorios de Markov - (CAMPOS ALEATORIOS DE MARKOV) Retroalimentación de Relevancia - (RETROALIMENTACIÓN DE RELEVANCIA) CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA - (CTI) MATEMÁTICAS - (CTI) CIENCIA DE LOS ORDENADORES - (CTI) CIENCIA DE LOS ORDENADORES - (CTI)
Resumen o descripción
We propose a novel method to re-order the list of images returned by an image retrieval system (IRS). The method combines the original order obtained by the IRS, the similarity between images obtained with visual and textual features, and a relevance feedback approach, all of them with the purpose of separating relevant from irrelevant images, and thus, obtaining a more appropriate order. The method is based on a Markov random field (MRF) model, in which each image in the list is represented as a random variable that could be relevant or irrelevant. The energy function proposed for the MRF combines two factors: the similarity between the images in the list (internal similarity); and information obtained from the original order and the similarity of each image with the query (external similarity). Experiments were conducted with resources from the Image CLEF 2008 forum for the photo retrieval track, taking into account textual and visual features. The results show that the proposed method improves, according to the MAP measure, the order of the original list up to 63% (in the textual case) and up to 55% (in the visual case); and suggest future work using a combination of both kind of features.
En este trabajo proponemos un método novedoso para re-ordenar una lista de imágenes recuperadas por un sistema de recuperación de imágenes (SRI). El método combina el orden original obtenido por el SRI, la similitud entre imágenes, obtenida con las características visuales y textuales, y un enfoque de retroalimentación de relevancia, todos ellos con el propósito de separar las imágenes relevantes de las irrelevantes, y así, obtener un orden más apropiado. El método está basado en el modelo de un campo aleatorio de Markov (CAM), en el que cada imagen en la lista fue representada como una variable aleatoria con dos posibles valores: relevante o irrelevante. La función de energía propuesta para el campo aleatorio de Markov combina dos factores: la similitud entre imágenes en la lista (similitud interna); y la información obtenida del orden original y la similitud de cada imagen con la consulta (similitud externa). Los experimentos fueron realizados con los recursos del foro Image CLEF 2008 para la tarea de recuperación de fotografías, tomando en cuenta los atributos textuales y visuales. Los resultados mostraron que el método propuesto mejora, de acuerdo con la medida MAP, el orden de la lista original hasta en un 63% (en el caso textual) y hasta un 55% (en el caso visual); y sugieren como trabajo a futuro el utilizar una combinación de ambos tipos de atributos.
Editor
Computación y Sistemas
Fecha de publicación
2011
Tipo de publicación
Artículo
Versión de la publicación
Versión aceptada
Recurso de información
Formato
application/pdf
Idioma
Inglés
Audiencia
Estudiantes
Investigadores
Público en general
Sugerencia de citación
Omar-Chávez, R., et al., (2011). Using a Markov random field for image Re-ranking based on visual and textual features, Computación y Sistemas Vol. 14 (4): 393-404
Repositorio Orígen
Repositorio Institucional del INAOE
Descargas
247