Author: CARLOS ARTURO HERNANDEZ GRACIDAS

Modelado de relaciones espaciales para la recuperación de imágenes por contenido

CARLOS ARTURO HERNANDEZ GRACIDAS (2010)

Image retrieval consists of searching an image database in order to find those images that satisfy

the needs of a user. This is a complex problem not yet completely solved, given the difficulty in

mapping a query, which may be expressed in terms of keywords or samples, to the visual features

of an image.

In this thesis we suggest the use of spatial relations as a way of improving image retrieval, as

well as annotation. We perform a study of the different types of relations and select those more

adequate for their application to annotation and image retrieval.

We suggest an annotation improvement scheme using probabilistic models in combination with

spatial relations; and an image comparison and retrieval method based on conceptual graphs and

spatial relations. High-level information is included in both processes in the form of the spatial

relations among the objects detected in the image. These relations help to have a better image

representation by including high-level information.

Our annotation improving method is one of our main contributions, where we analyze the relevance

of the different groups of spatial relations in annotation improving. This improving method

shows promising, depending to a large extent on the initial annotation quality and the database used.

Another contribution in this sense is the use of the information provided by an “expert” for data

smoothing and to diminish the impact of having a reduced amount of sample images for creating

the model.

Our image retrieval method is an important contribution of this thesis, as well. We evaluate the

relevance of spatial relations with respect to labels for retrieval. We perform improvements in label

weighting by using their frequency in the database and the images individually, as well as information

redundancy among sample images and textual description of the retrieval topic. Besides, we

prove that the availability of several sample images for a topic helps to improve retrieval.

We evaluate our image annotation improving method on 3 image databases, comparing it to the

baseline method and other state of the art methods. For evaluating the use of spatial relations in

retrieval, we use the topics from the ImageCLEF competition, on a 20,000 image database. Results

obtained prove the usefulness of spatial relations for both tasks, showing significant improvements

in both, image annotation and content-based image retrieval.

La recuperación de imágenes consiste en buscar en una base de imágenes aquellas que satisfacen

las necesidades de un usuario. Este es un problema complejo que aún no ha sido resuelto

satisfactoriamente, ya que es muy difícil mapear una consulta, que puede ser basada en términos o

ejemplos, a los atributos visuales de una imagen.

En este tesis planteamos el uso de relaciones espaciales como una forma de mejorar la

recuperación de imágenes, así como el etiquetado. Realizamos un estudio de los diferentes tipos de

relaciones y seleccionamos aquellas más adecuadas para su aplicación al etiquetado y recuperación

de imágenes.

Proponemos un esquema de mejora del etiquetado usando modelos probabilistas en combinación

con relaciones espaciales; y un método de comparación y recuperación de imágenes basado

en grafos conceptuales y relaciones espaciales. En ambos procesos se incluye información de alto

nivel en forma de las relaciones espaciales entre los objetos detectados en la imagen. Estas relaciones

ayudan a tener una representación más completa de la imagen, al incluir información de alto

nivel.

Nuestro método de mejora del etiquetado es una de nuestras principales aportaciones, donde

analizamos la relevancia de los distintos grupos de relaciones espaciales en la mejora del etiquetado.

El método de mejora se muestra prometedor, dependiendo en gran medida de la calidad del

etiquetado inicial y la base de datos utilizada. Otra aportación en este sentido es el uso de la información

provista por un “experto” para suavizar los datos y disminuir el impacto de contar con un

número reducido de muestras para la creación del modelo.

Nuestro método para la recuperación de imágenes es también una aportación importante de esta

tesis. Evaluamos con él la importancia de las relaciones espaciales con respecto a las etiquetas, para

la recuperación. Realizamos mejoras en el pesado de las etiquetas utilizando tanto la frecuencia

de las mismas en la base de datos y las imágenes individuales, como la redundancia de información

entre las imágenes de ejemplo y la descripción textual del tópico de recuperación. Además,

comprobamos que la disponibilidad de varias imágenes de ejemplo para un tópico contribuye a la

mejora de la recuperación.

Evaluamos nuestro método para mejora del etiquetado en 3 bases de imágenes, comparándolo

con el método base y varios métodos del estado del arte.

Doctoral thesis

Spatial reasoning Content - based retrieval Image modeling CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA MATEMÁTICAS CIENCIA DE LOS ORDENADORES

The segmented and annotated IAPR TC-12 benchmark

HUGO JAIR ESCALANTE BALDERAS CARLOS ARTURO HERNANDEZ GRACIDAS JESUS ANTONIO GONZALEZ BERNAL AURELIO LOPEZ LOPEZ MANUEL MONTES Y GOMEZ EDUARDO FRANCISCO MORALES MANZANARES LUIS ENRIQUE SUCAR SUCCAR LUIS VILLASEÑOR PINEDA (2009)

Automatic image annotation (AIA), a highly popular topic in the field of information retrieval research, has experienced significant progress within the last decade. Yet, the lack of a standardized evaluation platform tailored to the needs of AIA, has hindered effective evaluation of its methods, especially for region-based AIA. Therefore in this paper, we introduce the segmented and annotated IAPR TC-12 benchmark; an extended resource for the evaluation of AIA methods as well as the analysis of their impact on multimedia information retrieval. We describe the methodology adopted for the manual segmentation and annotation of images, and present statistics for the extended collection. The extended collection is publicly available and can be used to evaluate a variety of tasks in addition to image annotation. We also propose a soft measure for the evaluation of annotation performance and identify future research areas in which this extended test collection is likely to make a contribution.

Article

Data set creation Ground truth collection Evaluation metrics Automatic image annotation Image retrieval CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA MATEMÁTICAS CIENCIA DE LOS ORDENADORES

The segmented and annotated IAPR TC-12 benchmark

HUGO JAIR ESCALANTE BALDERAS CARLOS ARTURO HERNANDEZ GRACIDAS JESUS ANTONIO GONZALEZ BERNAL AURELIO LOPEZ LOPEZ MANUEL MONTES Y GOMEZ EDUARDO FRANCISCO MORALES MANZANARES LUIS ENRIQUE SUCAR SUCCAR LUIS VILLASEÑOR PINEDA (2010)

Automatic image annotation (AIA), a highly popular topic in the field of information retrieval research, has experienced significant progress within the last decade. Yet, the lack of a standardized evaluation platform tailored to the needs of AIA, has hindered effective evaluation of its methods, especially for region-based AIA. Therefore in this paper, we introduce the segmented and annotated IAPR TC-12 benchmark; an extended resource for the evaluation of AIA methods as well as the analysis of their impact on multimedia information retrieval. We describe the methodology adopted for the manual segmentation and annotation of images, and present statistics for the extended collection. The extended collection is publicly available and can be used to evaluate a variety of tasks in addition to image annotation. We also propose a soft measure for the evaluation of annotation performance and identify future research areas in which this extended test collection is likely to make a contribution.

Article

Data set creation Ground truth collection Evaluation metrics Automatic image annotation Image retrieval CIENCIAS FÍSICO MATEMÁTICAS Y CIENCIAS DE LA TIERRA MATEMÁTICAS CIENCIA DE LOS ORDENADORES CIENCIA DE LOS ORDENADORES