Model driven development of content based image retrieval systems on top of object relational database management systems [Elektronische Ressource] = Modellgetriebene Entwicklung inhaltsbasierter Bildretrieval-Systeme auf der Basis von objektrelationalen Datenbank-Management-Systeme / vorgelegt von Temenushka Ignatova
268 Pages
English

Model driven development of content based image retrieval systems on top of object relational database management systems [Elektronische Ressource] = Modellgetriebene Entwicklung inhaltsbasierter Bildretrieval-Systeme auf der Basis von objektrelationalen Datenbank-Management-Systeme / vorgelegt von Temenushka Ignatova

Downloading requires you to have access to the YouScribe library
Learn all about the services we offer

Description

MODEL-DRIVEN DEVELOPMENT OF CONTENT-BASEDIMAGE RETRIEVAL SYSTEMS ON TOP OFOBJECT-RELATIONAL DATABASE MANAGEMENTSYSTEMSModellgetriebene Entwicklung inhaltsbasierterBildretrieval-Systeme auf der Basis von objektrelationalenDatenbank-Management-SystemeDissertationzurErlangung des akademischen GradesDoktor-Ingenieur (Dr.-Ing.)der Fakult¨at fu¨r Informatik und Elektrotechnikder Universit¨at Rostockvorgelegt vonTemenushka Ignatova, geb. am 18.10.1976 in Kyustendil, Bulgarienaus RostockRostock, den 02.07.2008Gutachter:Prof. Dr. Andreas Heuer, Universit¨at RostockProf. Dr. Klaus Meyer-Wegener, Friedrich-Alexander-Universit¨at Erlangen-Nur¨ nbergProf. Dr. Susanne Boll, Carl von Ossietzky Universit¨at OldenburgTag der Promotionsverteidigung: 18. September 2008AbstractDigital images are increasingly used for capturing information. The growing amount of suchdata requires the development of adequate techniques for its reliable storage and efficientretrieval. Different computer science communities, such as computer vision, informationretrieval, database systems, artificial intelligence etc., have devoted their efforts and expertiseto providing a solution for this challenge. The search for meaningful visual characteristicsof images, which can be used to automatically compare images by similarity, is an ongoingprocess.

Subjects

Informations

Published by
Published 01 January 2008
Reads 21
Language English
Document size 6 MB

MODEL-DRIVEN DEVELOPMENT OF CONTENT-BASED
IMAGE RETRIEVAL SYSTEMS ON TOP OF
OBJECT-RELATIONAL DATABASE MANAGEMENT
SYSTEMS
Modellgetriebene Entwicklung inhaltsbasierter
Bildretrieval-Systeme auf der Basis von objektrelationalen
Datenbank-Management-Systeme
Dissertation
zur
Erlangung des akademischen Grades
Doktor-Ingenieur (Dr.-Ing.)
der Fakult¨at fu¨r Informatik und Elektrotechnik
der Universit¨at Rostock
vorgelegt von
Temenushka Ignatova, geb. am 18.10.1976 in Kyustendil, Bulgarien
aus Rostock
Rostock, den 02.07.2008Gutachter:
Prof. Dr. Andreas Heuer, Universit¨at Rostock
Prof. Dr. Klaus Meyer-Wegener, Friedrich-Alexander-Universit¨at Erlangen-Nur¨ nberg
Prof. Dr. Susanne Boll, Carl von Ossietzky Universit¨at Oldenburg
Tag der Promotionsverteidigung: 18. September 2008Abstract
Digital images are increasingly used for capturing information. The growing amount of such
data requires the development of adequate techniques for its reliable storage and efficient
retrieval. Different computer science communities, such as computer vision, information
retrieval, database systems, artificial intelligence etc., have devoted their efforts and expertise
to providing a solution for this challenge. The search for meaningful visual characteristics
of images, which can be used to automatically compare images by similarity, is an ongoing
process. This is due to the fact that each application domain, each user and even each
situation require different information from the image to be considered for the comparison.
For these characteristics, suitable measures for calculating the similarity between them have
beenproposed. However,thesemeasuresmustalsobetestedandparametrizedforaparticular
application. Robustimageprocessingalgorithmsforextractingthevisualcharacteristicsfrom
the raw image data have to be implemented so that as few as possible information from the
original image is lost. Data Mining techniques have been applied for deriving semantic data
from the low-level image characteristics in order to bring the computer-based representation
of the image content as close as possible to the human way of describing images. And finally,
ways to associate the image data with other context dependent data in order to provide an
integrated system to the user or gain more information about the content of the images have
been investigated.
All these techniques have been implemented in so called Content-based Image Retrieval Sys-
tems (CBIRS). The prior idea of these systems was to support the similarity search for any
kind of image collection. It was relatively fast recognized that this is not possible due to the
different requirements of different application domains concerning the image characteristics
and measures used for the retrieval. On the one hand, picking the right algorithms for a
particular application is one of the challenges with which a developer of a CBIRS has to deal.
On the other hand, building the application requires the definition of an architecture, data
structures and functionality components. The basic architecture of these systems does not
differ much, also in the specialized applications. Therefore, in order to help building such
specialized applications by focusing mainly on choosing the right combination of algorithms
an adequate development support mechanism is required. The first attempts to achieve this
arebasedonsoftwareframeworksandsourcecodelibraries. However, thesetechniquesdonot
provideenoughflexibilitywithrespecttoplatformindependenceandtheresultingapplication
are not compact specialized applications, but rather an extended version of the framework
system.
Inthisthesis, themodel-drivensoftwaredevelopmentparadigmisemployedasadevelopment
support technique for CBIRS. Therefore, two groups of techniques are elaborated, modeling
andtransformationtechniques. Modelingtechniques,basedonaconceptualframeworkmodel
iii Abstract
are proposed for modeling the components for image storage, feature extraction and image
retrieval of a CBIRS architecture. Therefore, generic data structures and operations for the
update,storageandretrievalofimagesaredefinedasaframeworkmodel,whichcanbeusedby
developerstoderivetheirownapplicationspecificconceptualmodelsforCBIRS.Inthisthesis,
transformation techniques for the automatized implementation of the model in an ORDBMS
environment are defined. These are specified in terms of transformation rules for mapping
the platform independent model concepts onto concepts of a platform specific model for
object-relational database management systems (ORDBMS). Database management systems
were chosen as a target platform for the implementation in this thesis because of the well
established mechanisms for inserting and updating information which these systems provide,
e.g. transaction management. Furthermore, database systems can be used to link other
informationtotheimagedatainformoftextualmetadata,forwhichtheycanprovideefficient
access. However, since the conceptual model is platform independent, any other platform can
beconsideredfortheimplementationofthemodel. InparticularORDBMSwereusedbecause
of the insufficient support for multimedia data in relational database management system,
andtheneedforsuchsupportininformationintegrationapplications,suchasdigitallibraries,
multimedia information systems.
The transformation techniques are evaluated by verifying the quality of the transformation
rules. The criteria assuring the quality of the transformation were derived from the require-
mentforinformationcapacitypreservationofthetransformationknowninthedatabasedesign
theory. The investigation of the mapping rules showed that the derived quality requirements
are fulfilled.
TheelaboratedmodelingtechniquesareappliedforthemodelingofaCBIRsystemforstoring
images of music scores, and identifying their scribes, based on the visual handwriting charac-
teristics of the images. In addition, a CBIRS application for the retrieval of similar images of
2D-electrophoresis Gels is derived from the CBIRS framework model. And finally, the model
is evaluated for an application for the annotation of photos. These test cases showed that a
large class of CBIRS fits well into the generic framework model, i.e. these applications can
be easily modeled by making use of the proposed modeling techniques.Kurzfassung
Immer h¨aufiger werden digitale Bilder zur Aufnahme verschiedenster Informationen einge-
setzt. Fur¨ die effiziente Verwaltung dieser Informationen werden passende Techniken fur¨ ihre
SpeicherungundSucheben¨otigt. VerschiedeneForschungszweigederInformatik,wiebeispiel-
sweisedieBildverarbeitung,InformationRetrieval,DatenbanksystemeundKu¨nstlicheIntelli-
genz, stellen sich diesen Herausforderungen. Im Zentrum dieser L¨osungsversuche steht immer
¨wieder das Finden relevanter visueller Bildmerkmale, mit deren Hilfe Ahnlichkeiten zwischen
digitalen Bildern gefunden werden sollen. Die Frage, inwieweit sich Bilder ¨ahnlich sind, muss
fu¨r jedes neue Anwendungsgebiet und jede neue Nutzeranforderung anders gestellt werden.
Die relevanten Informationen aus den Bildern sind fu¨r jedes einzelne Gebiet ebenso vielf¨altig
wie die Ansatze¨ , diese als Basis fu¨r einen Bildvergleich zu klassifizieren. Die verschiedenen
relevantenBildmerkmaleindenzuvergleichendenBildernwerdenimmerwiederneumitspez-
¨ ¨ifischen Ahnlichkeitsmaßen versehen, um die Ahnlichkeit mathematisch erfassen zu k¨onnen.
Diese mu¨ssen getestet und parametrisiert werden, um die menschliche Wahrnehmung fur¨
¨Ahnlichkeit so genau wie mogli¨ ch zu simulieren. Dazu werden komplexe Bildverarbeitungsal-
gorithmenentwickelt,umdiegewunsc¨ htenMerkmalefehlerfreiundeffizientausdenBildernzu
extrahieren. Auf die Ergebnisse dieser Algorithmen werden Data Mining Techniken angewen-
det. Damit lassen sich einfachen, messbaren Merkmalen wie zum Beispiel der Farbe und der
Textur semantische Konzepte, in etwa Sonne oder Himmel, zuordnen. Und schließlich werden
M¨oglichkeiten untersucht, um andere kontextabh¨angige Informationen mit den Bildern zu
assoziieren, um den Inhalt der Bilder zuverlas¨ siger automatisch erkennen zu k¨onnen.
Das Zusammenspiel dieser Techniken wird in so genannten inhaltsbasierten Bildretrieval-
Systemen(aufEnglisch: Content-basedImageRetrievalSystems CBIRS)verwendet. Dasur-
¨spru¨nglicheZielfur¨ denEinsatz dieserSystemewares, die Ahnlichkeitssucheaufverschieden-
ste Bildinhalte gleichermaßen zu unterstutze¨ n. Jedoch wurde schon fruh¨ zeitig erkannt, dass
diese Verschiedenheit der Bilder eine zu große Hu¨rde fur¨ CBIRS darstellt. Daher muss der
Entwickler solcher Systeme zum einen eine auf jede Bildanwendung zugeschnittene Auswahl
¨anAlgorithmenzurMerkmalsextraktionundzurAhnlichkeitssucheverwenden. Zumanderen
muss¨ en vom Entwickler eine fu¨r die Bildanwendung passende Softwarearchitektur, Daten-
strukturen und Funktionskomponenten entworfen werden. Die Softwarearcr selbst un-
terscheidet sich bei den verschiedensten Anwendungen jedoch nur geringfu¨gig. Die Entwick-
lungeinersolchenArchitekturl¨asstsichdahermitu¨bergreifendenMechanismenunterstu¨tzen,
die die jeweils passende Kombination von entsprechenden Algorithmen zur Verfu¨gung stellen.
Die ersten Versuche, solche Mechanismen zu erstellen, basieren auf Software Frameworks und
Quellcode-Bibliotheken. Diese Techniken bieten jedoch nicht genu¨gend Flexibilit¨at in Bezug
auf die Plattformunabh¨angigkeit und die Ergebnisse sind keine maßgeschneiderten, kompak-
ten Anwendungen, sondern vielmehr erweiterte Versionen der Frameworks.
iiiiv Kurzfassung
In dieser Dissertation wird das Paradigma des modellgetriebenen Softwareentwurfs als Hilfs-
technik fur¨ die Erstellung von CBIRS angesetzt. Hierfur¨ werden zwei Gruppen von Tech-
niken verwendet: Modellierungs- und Transformationstechniken. Die Modellierungstechniken
basieren auf einem konzeptuellen Frameworkmodell und werden fur¨ die Modellierung der
¨Bildspeicherung, der Merkmalsextraktion und der Komponenten fu¨r die Ahnlichkeitssuche in
CBIRS eingesetzt. Das Frameworkmodell definiert die generische Datenstruktur und Funk-
tionalit¨at fu¨r die Speicherung, Aktualisierung und Suche in Bildern. Dieses kann vom Ent-
wickler eines CBIRS fu¨r den Entwurf eines eigenen, auf die Anwendung zugeschnittenen,
konzeptuellenModellsverwendetwerden. IndieserArbeitwerdenweiterhinTransformations-
techniken fu¨r die automatische Generierung von Implementierungen in Objektorientierten
Datenbank-Management-Systemen (ORDBMS) aus dem konzeptuellen Modell erarbeitet.
Diese werden in Form von Transformationsregeln zur Abbildung plattformunabhangiger¨ Mo-
dell-Konzepte auf Konzepte der Zielplattform dargestellt. In dieser Arbeit werden Objekt-
orientierte Datenbank-Management-Systeme (ORDBMS) als Implementierungsplattform ge-
w¨ahlt. Diese Systeme bieten ausgereifte Mechanismen zum Einfu¨gen und Aktualisieren per-
sistenter Informationen, zum Beispiel durch das Transaktionsmanagement. Weiterhin sind
ORDBMS eine der h¨aufigsten Anwendungen zur Integration von Daten aus verschieden-
sten Quellen, beispielsweise Bilddaten von Medienservern und Textdaten aus Datenbanken
oder von Fileservern. Dennoch kommen aufgrund der Tatsache, dass die konzeptuellen
CBIRS Modelle plattformunabh¨angig sind, weitere Zielplattformen in Betracht. Fu¨r die
jeweilige Zielplattform mu¨ssen dementsprechende Transformationsregeln definiert werden.
Objektorientierten Datenbank-Management-Systemen wird gegenub¨ er Relationalen Daten-
banken der Vorzug gegeben, weil Relationale Datenbanken keine hinreichende Unterstutzun¨ g
fu¨r Multimedia-Daten bieten. Eine solche Unterstu¨tzung ist jedoch fur¨ integrative Anwen-
dungen wie Digitale Bibliotheken, Multimedia-Informationssysteme usw. essentiell.
Fu¨r die Evaluierung derTransformationstechnikenwirddie Qualit¨at derdefiniertenTransfor-
mationsregelnub¨ erpruft¨ . DieausderTheoriedesDatenbankentwurfsbekanntenAnforderung-
en zur Kapazit¨atserhaltung der Transformation dienen als Kriterien fur¨ die erforderliche
Qualit¨at der Transformation. Die Untersuchung der Transformationsregeln ergibt, dass die
Qualit¨atsanforderungen erfu¨llt sind.
Die entwickelten Modellierungstechniken werden beispielhaft fur¨ die konzeptuelle Model-
lierung eines CBIRS zur Speicherung digitaler Musikhandschriften und zur Identifizierung
¨deren Schreiber angewendet. Weiterhin kommt eine CBIR Anwendung zur Ahnlichkeitssuche
inBildernausder2D-GelelektrophoresezumEinsatz. EinedritteCBIRTestanwendungdient
der Speicherung und automatischen Annotation von Fotos. Diese drei Anwendungen zeigen,
dass verschiedenste CBIRS aus dem generischen CBIRS Frameworkmodell abgeleitet und
dass diese mit Hilfe der dargestellten Modellierungstechniken ohne Schwierigkeiten umgesetzt
werden k¨onnen.Acknowledgments
I would like to express my gratitude to all the people who believed in me and gave me their
support during the long years of researching and writing on this dissertation.
I wish to thank my adviser Prof. Dr. Andreas Heuer, who opened opportunities for me by
giving me the right hints at the right time, by encouraging me in taking challenges, and by
teaching me not to doubt my ideas.
Prof. Dr. Heidrun Schumann has also supported me with very important hints for the repre-
sentation of my ideas. I thank her for her encouraging remarks.
My colleagues and friends have been a great assistance by sparing their time for fruitful
discussions, by sharing their experience with me, and by being always glad to help or simply
listen. In particular, I would like to thank, Ilvio Bruder, Andreas Finger and Matthias Rust
for the productive and pleasant cooperation on the topic of multimedia information systems
development, Dr. Meike Klettke and Dr. Holger Meyer for their valuable comments on the
written work, and Sebastian Schick for his assistance in the design of the implementation.
I would like to thank all the students, whose projects and theses were supervised by me, for
giving their best to understand and implement my ideas and for helping me come up with
new ones.
Prof. Dr. Susanne Boll and Prof. Dr. Klaus Meyer-Wegener played also a decisive role not
only at the end as reviewers of my thesis, but also by showing me their interest in the topic
during the elaboration of the thesis.
I thank my family for all the warmth and optimism, and finally, I would like to thank my
dear Christian for so much understanding and love.
vTable of Contents
Abstract i
Kurzfassung iii
Acknowledgments v
Table of Contents vii
1 Introduction 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Underlying Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Existing Solutions for CBIRS Development Support . . . . . . . . . . . . . . 4
1.3.1 Software Frameworks for CBIRSs . . . . . . . . . . . . . . . . . . . . . 4
1.3.2 Alternative Support for the Development of CBIRSs . . . . . . . . . . 6
1.3.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4 Employing the MDSD Paradigm for the Development of CBIRSs . . . . . . . 7
1.4.1 Modeling Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.2 Generation Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Structure of the Thesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 Basic Principles and State of the Art of Used Technologies 11
2.1 CBIR Systems - State of the Art . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1 CBIR Systems Architecture . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.2 Implementation Paradigms for CBIR Systems . . . . . . . . . . . . . . 18
2.1.3 Building CBIR Systems on Top of Extendable DBMSs . . . . . . . . . 19
2.1.4 Summary of CBIRS Technologies . . . . . . . . . . . . . . . . . . . . . 21
2.2 Model-Driven Software Development - Basic Principles . . . . . . . . . . . . . 22
2.2.1 Characteristics and Aims . . . . . . . . . . . . . . . . . . . . . . . . . 22
vii