156 Pages
English
Gain access to the library to view online
Learn more

Model based image interpretation with application to facial expression recognition [Elektronische Ressource] / Matthias Wimmer

Gain access to the library to view online
Learn more
156 Pages
English

Informations

Published by
Published 01 January 2007
Reads 29
Language English
Document size 19 MB

Exrait

d
d d d InstitutfürInformatik
d d d d
d d
d d d
d d d d
d d d derTechnischenUniversitätMünchen
Model basedImageInterpretationwith
ApplicationtoFacialExpression
Recognition
Dissertation
Matthias WimmerInstitutfürInformatik
derTechnischenUniversitätMünchen
Model basedImageInterpretationwithApplication
toFacialExpressionRecognition
Matthias Wimmer
VollständigerAbdruckdervonderFakultätfürInformatikderTechnischenUniversitätMünchen
zurErlangungdesakademischenGradeseines
DoktorsderNaturwissenschaften(Dr. rer. nat.)
genehmigtenDissertation.
Vorsitzender: Univ. Prof. Dr. JohannSchlichter
PrüferderDissertation:
1. Univ. Prof. Dr. BerndRadig
2. Prof. TimothyF.Cootes,Ph.D.,
UniversityofManchester/UK
Die Dissertation wurde am 12.04.2007 bei der Technischen Universität München eingereicht
unddurchdieFakultätfürInformatikam15.10.2007angenommen.Abstract
Computers are excellent devices for quickly solving mathematical problems and for memo
rizing an enormous extent of information. Nevertheless, the interaction between humans and
computers still lacks intuition, because it is restricted to traditional input and output devices.
This thesis focuses on augmenting traditional systems with aspects of interpersonal communi
cationinordertoresolvetheseshortcomings. Itdescribesmethodsthatrobustlylocalizefacial
features,seamlesslytrackthemthroughimagesequences,andinterpretfacialexpressions.
The general research statement of this thesis is that model based techniques have great po
tential to fulfill current and future requests on interpreting images. Unfortunately, remaining
challenges, such as the initial model parameterization, still present major obstacles to making
thesesystemsusableinreal worldscenarios.
Thecontributionsofmythesisaretwofold: First,itshowsthatfacemodelfittingalgorithms
benefitfromwell definedcolorfeaturesthatareabletodistinguishbetweenthedifferentregions
of a face, such as the skin, the lips, and the eyebrows. However, these parts have only slight
differences in color and therefore, the decision criterion must be well chosen. The proposed
approach adapts tothe person and to thecontext first, and then classifies skincolor via general
purpose color classifiers. This procedure maintains real time performance and obtains high
accuracy, which makes it appropriate for a variety of applications such as face model fitting,
gazeestimation,andfacialexpressionrecognition.
Second,thisthesisfocusesonfittingmodelstoimagesbyconsideringtheobjectivefunction
asthemostimportantcomponentinvolved. Thesefunctionsareusuallydeterminedheuristically
in a time consuming and error prone procedure that requires much domain dependent knowl
edge. This thesis investigates and explicitly formulates inevitable properties of ideal objective
functions. Furthermore,itproposesamethodologyforlearningobjectivefunctionsfromanno
tated example images while considering these properties. Therefore, the learned functions are
approximatelyidealaswell. Thebenefitsofthisapproacharethatthecrucialdecisionstepsdur-
ingfunctiondesignareautomatedandtheremainingmanualstepsrequirelittleornocomputer
vision expertise. This procedure lays the foundation for a general application of model based
imageinterpretationtoreal worldscenariosandithasthereforepotentialforcommercialization.
vKurzfassung
Die Stärken von Computern liegen darin, mathematische Probleme schnell zu lösen und eine
enorme Informationsmenge zu verarbeiten. Allerdings schränkt die Verwendung herkömm
licher Eingabe und Ausgabemodi die Interaktion zwischen Mensch und Maschine stark ein.
Die vorliegende Arbeit behandelt den Forschungsaspekt, diesen Mangel durch die Integration
zwischenmenschlicher Kommunikationsmechanismen zu beseitigen. Diese Arbeit zeigt Ver-
fahren, die Gesichtsmerkmale lokalisieren, diese durch Bildsequenzen verfolgen und daraus
diesichtbareMimikableiten.
Der Forschungsansatz dieser Arbeit betrachtet modellbasierte Techniken als fähig, aktuelle
undzukünftigeAnforderungenhinsichtlichderBildinterpretationzuerfüllen. EinheutigerEin
satz dieser Systeme wird unter anderem durch die schwierige initiale Modellparametrisierung
verhindert.
DerBeitrag,dendieseArbeitdabeiliefert,gliedertsichinzweiTeilbereiche: Zunächstzeigt
sie die leichte Einpassung von Gesichtsmodellen mithilfe von klar definierten Farbmerkmalen,
die zwischen den unterschiedlichen Regionen des menschlichen Gesichts differenzieren, wie
zumBeispielderHaut,denLippenunddenAugenbrauen. Allerdingserforderndiegeringfügi
gen Farbunterschied eine genaue Bestimmung des Auswahlkriteriums. Der hier vorgestellte
Ansatz passt sich zunächst der Person und den Kontextbedingungen an, bevor die Hautfarbe
durch gebräuchliche Farbklassifikatoren bestimmt wird. Diese Vorgehensweise erfüllt Echt
zeitbedingungen und liefert einen hohen Grad an Genauigkeit, die eine Integration in Echtzei
tanwendungenermöglichen.
Im Weiteren behandelt diese Arbeit das Einpassen von Modellen in Bilder und betrachtet
dabeidieObjectiveFunctionalsdiewichtigstebeteiligteKomponente. DieseFunktionenwer-
den gewöhnlich heuristisch in zeitintensiven und fehleranfälligen Arbeitsschritten bestimmt,
dievielFachwissenerfordern. DieseDissertationuntersuchtundformalisiertzuerstdieEigen
schaftenvonidealenObjectiveFunctions. EswirdanschließendeineHerangehensweisevorge
schlagen, die Objective Functions mithilfe von annotierten Beispielbildern trainiert. Da dabei
die idealenEigenschaften in Betrachtgezogen werden, verhältsich die gelernteFunktion auch
annähernd ideal. Die Vorteile dieses Ansatzes zeigen sich darin, dass die ausschlaggebenden
Designentscheidungen automatisiert werden und die verbleibenden Arbeitsschritte wenig oder
viikein Expertenwissen benötigen. Diese Vorgehensweise bildet somit die Grundlage für eine
allgemeine Anwendung von modellbasierter Bildinterpretation in realen Umgebungen und sie
verfügtübereingroßesPotentialfürdenkommerziellenEinsatz.
viiiDanksagung
DievorliegendeArbeitentstandwährendmeinerTätigkeitamLehrstuhlfürBildverstehenund
Wissensbasierte Systeme der Fakultät für Informatik der Technischen Universität München.
Ihre Anfertigung wäre ohne die Unterstützung einer Reihe von Personen nicht möglich gewe
sen,denenichandieserStelleganzherzlichdankenmöchte.
Zunächst bedanke ich mich bei meinem Doktorvater Prof. Dr. Bernd Radig für die Be
treuung der Arbeit und seine Anregungen zur wissenschaftlichen Gestaltung des Promotions
vorhabens. Durch die Aufnahme in seine Arbeitsgruppe ermöglichte er mir, dieses interes
sante Thema zu bearbeiten. Vielen Dank auch für die Unterstützung zur Fortführung meiner
wissenschaftlichen Interessen. Er sowie Prof. Michael Beetz verstanden es stets, für ein an
genehmes Arbeitsklima und zwischenmenschliches Verhältnis zu sorgen. Ebenfalls danke ich
Prof. TimCootesfürdiebereitwilligeÜbernahmedesZweitgutachtens.
Weiterhin bedanke ich mich bei meinen Kollegen des Lehrstuhls und des Forschungsver-
bunds FORSIP für die gute Zusammenarbeit. Insbesondere meine langjährigen Zimmerkolle
genSuatGedikliundSimoneHämmerleunterstütztenmichinvielerleiHinsicht. DesWeiteren
konnte ich dort auch Freunde für außeruniversitäre Unternehmungen für die Freizeitgestaltung
finden, besonders mit Kajetan Berlinger und mit Heiko Gottschling. Außerdem bedanke ich
mich bei Freek Stulp für die ergebnisreichen Diskussionen hinsichtlich gemeinsamer Publika
tionen. Allen Studenten, die im Rahmen ihres Systementwicklungsprojekts bzw. ihrer Diplo
marbeit direkt oder indirekt am Entstehen dieser Arbeit mitgewirkt haben, danke ich auch her-
zlich. StellvertretendseienSylviaPietzschundChristophMayergenannt.
Für die inhaltliche Durchsicht meiner Arbeit danke ich ganz herzlich meinen Konferenz
kollegen Wolfgang Sepp und Johan Karlsson, sowie Daniel Fischer für die Verbesserungs
vorschläge,diemeinerMeinungnachdeutlichzurLesbarkeitbeigetragenhaben. Außerdembe
dankeichmichbeiallenPersonen,diemirdieVeröffentlichungvonBildmaterialgenehmigten.
Bedanken möchte ich mich auch bei meinen Eltern, die mir das Studium ermöglichten und
damitdenGrundsteinfürmeinePromotionunddieseArbeitlegten.
ix