Title

Modelado de relaciones espaciales para la recuperación de imágenes por contenido

Author

CARLOS ARTURO HERNANDEZ GRACIDAS

Contributor

LUIS ENRIQUE SUCAR SUCCAR (Thesis Adviser)

Access level

Open Access

Summary or description

Image retrieval consists of searching an image database in order to find those images that satisfy

the needs of a user. This is a complex problem not yet completely solved, given the difficulty in

mapping a query, which may be expressed in terms of keywords or samples, to the visual features

of an image.

In this thesis we suggest the use of spatial relations as a way of improving image retrieval, as

well as annotation. We perform a study of the different types of relations and select those more

adequate for their application to annotation and image retrieval.

We suggest an annotation improvement scheme using probabilistic models in combination with

spatial relations; and an image comparison and retrieval method based on conceptual graphs and

spatial relations. High-level information is included in both processes in the form of the spatial

relations among the objects detected in the image. These relations help to have a better image

representation by including high-level information.

Our annotation improving method is one of our main contributions, where we analyze the relevance

of the different groups of spatial relations in annotation improving. This improving method

shows promising, depending to a large extent on the initial annotation quality and the database used.

Another contribution in this sense is the use of the information provided by an “expert” for data

smoothing and to diminish the impact of having a reduced amount of sample images for creating

the model.

Our image retrieval method is an important contribution of this thesis, as well. We evaluate the

relevance of spatial relations with respect to labels for retrieval. We perform improvements in label

weighting by using their frequency in the database and the images individually, as well as information

redundancy among sample images and textual description of the retrieval topic. Besides, we

prove that the availability of several sample images for a topic helps to improve retrieval.

We evaluate our image annotation improving method on 3 image databases, comparing it to the

baseline method and other state of the art methods. For evaluating the use of spatial relations in

retrieval, we use the topics from the ImageCLEF competition, on a 20,000 image database. Results

obtained prove the usefulness of spatial relations for both tasks, showing significant improvements

in both, image annotation and content-based image retrieval.

La recuperación de imágenes consiste en buscar en una base de imágenes aquellas que satisfacen

las necesidades de un usuario. Este es un problema complejo que aún no ha sido resuelto

satisfactoriamente, ya que es muy difícil mapear una consulta, que puede ser basada en términos o

ejemplos, a los atributos visuales de una imagen.

En este tesis planteamos el uso de relaciones espaciales como una forma de mejorar la

recuperación de imágenes, así como el etiquetado. Realizamos un estudio de los diferentes tipos de

relaciones y seleccionamos aquellas más adecuadas para su aplicación al etiquetado y recuperación

de imágenes.

Proponemos un esquema de mejora del etiquetado usando modelos probabilistas en combinación

con relaciones espaciales; y un método de comparación y recuperación de imágenes basado

en grafos conceptuales y relaciones espaciales. En ambos procesos se incluye información de alto

nivel en forma de las relaciones espaciales entre los objetos detectados en la imagen. Estas relaciones

ayudan a tener una representación más completa de la imagen, al incluir información de alto

nivel.

Nuestro método de mejora del etiquetado es una de nuestras principales aportaciones, donde

analizamos la relevancia de los distintos grupos de relaciones espaciales en la mejora del etiquetado.

El método de mejora se muestra prometedor, dependiendo en gran medida de la calidad del

etiquetado inicial y la base de datos utilizada. Otra aportación en este sentido es el uso de la información

provista por un “experto” para suavizar los datos y disminuir el impacto de contar con un

número reducido de muestras para la creación del modelo.

Nuestro método para la recuperación de imágenes es también una aportación importante de esta

tesis. Evaluamos con él la importancia de las relaciones espaciales con respecto a las etiquetas, para

la recuperación. Realizamos mejoras en el pesado de las etiquetas utilizando tanto la frecuencia

de las mismas en la base de datos y las imágenes individuales, como la redundancia de información

entre las imágenes de ejemplo y la descripción textual del tópico de recuperación. Además,

comprobamos que la disponibilidad de varias imágenes de ejemplo para un tópico contribuye a la

mejora de la recuperación.

Evaluamos nuestro método para mejora del etiquetado en 3 bases de imágenes, comparándolo

con el método base y varios métodos del estado del arte.

Publisher

Instituto Nacional de Astrofísica, Óptica y Electrónica

Publish date

September, 2010

Publication type

Doctoral thesis

Publication version

Accepted Version

Format

application/pdf

Language

Spanish

Audience

Students

Researchers

General public

Citation suggestion

Hernandez-Gracidas C.A.

Source repository

Repositorio Institucional del INAOE

Downloads

781

Comments



You need to sign in or sign up to comment.