Efficient, image-based appearance acquisition of real-world objects [Elektronische Ressource] / Hendrik Peter Asmus Lensch
172 Pages
English
Downloading requires you to have access to the YouScribe library
Learn all about the services we offer

Efficient, image-based appearance acquisition of real-world objects [Elektronische Ressource] / Hendrik Peter Asmus Lensch

Downloading requires you to have access to the YouScribe library
Learn all about the services we offer
172 Pages
English

Description

Efficient, Image-Based Appearance Acquisitionof Real-World ObjectsHendrik Peter Asmus LenschMax-Planck-Institut fur¨ InformatikSaarbruc¨ ken, GermanyDissertation zur Erlangung des GradesDoktor der Ingenieurwissenschaften (Dr.-Ing)der Naturwissenschaftlich-Technischen Fakultat¨ Ider Universitat¨ des SaarlandesEingereicht am 24. April 2003 in Saarbruck¨ en.iiBetreuender Hochschullehrer — SupervisorProf. Dr. Hans-Peter Seidel, MPI fur¨ Informatik, Saarbruck¨ en, GermanyGutachter — ReviewersProf. Dr. Hans-Peter Seidel, MPI fur¨ Informatik, Saarbruck¨ en, GermanyProf. Dr. Pat Hanrahan, Stanford University, United StatesProf. Dr. Dieter W. Fellner, Technische Universitat¨ Braunschweig, GermanyDekan — DeanProf. Dr. Philipp Slusallek, Universitat¨ des Saarlandes, Saarbruck¨ en, GermanyDatum des Kolloquiums — Date of Defense15. Dezember 2003Hendrik Peter Asmus LenschMax-Planck-Institut fur¨ InformatikStuhlsatzenhausweg 8566123 Saarbruck¨ en, Germanylensch@mpi-sb.mpg.deiiifur¨ ViolaivAbstractTwo ingredients are necessary to synthesize realistic images: an accurate render-ing algorithm and, equally important, high-quality models in terms of geometryand reflection properties. In this dissertation we focus on capturing the appear-ance of real world objects. The acquired model must represent both the geometryand the reflection properties of the object in order to create new views of the objectwith novel illumination.

Subjects

Informations

Published by
Published 01 January 2004
Reads 9
Language English
Document size 27 MB

Exrait

Efficient, Image-Based Appearance Acquisition
of Real-World Objects
Hendrik Peter Asmus Lensch
Max-Planck-Institut fur¨ Informatik
Saarbruc¨ ken, Germany
Dissertation zur Erlangung des Grades
Doktor der Ingenieurwissenschaften (Dr.-Ing)
der Naturwissenschaftlich-Technischen Fakultat¨ I
der Universitat¨ des Saarlandes
Eingereicht am 24. April 2003 in Saarbruck¨ en.ii
Betreuender Hochschullehrer — Supervisor
Prof. Dr. Hans-Peter Seidel, MPI fur¨ Informatik, Saarbruck¨ en, Germany
Gutachter — Reviewers
Prof. Dr. Hans-Peter Seidel, MPI fur¨ Informatik, Saarbruck¨ en, Germany
Prof. Dr. Pat Hanrahan, Stanford University, United States
Prof. Dr. Dieter W. Fellner, Technische Universitat¨ Braunschweig, Germany
Dekan — Dean
Prof. Dr. Philipp Slusallek, Universitat¨ des Saarlandes, Saarbruck¨ en, Germany
Datum des Kolloquiums — Date of Defense
15. Dezember 2003
Hendrik Peter Asmus Lensch
Max-Planck-Institut fur¨ Informatik
Stuhlsatzenhausweg 85
66123 Saarbruck¨ en, Germany
lensch@mpi-sb.mpg.deiii
fur¨ Violaiv
Abstract
Two ingredients are necessary to synthesize realistic images: an accurate render-
ing algorithm and, equally important, high-quality models in terms of geometry
and reflection properties. In this dissertation we focus on capturing the appear-
ance of real world objects. The acquired model must represent both the geometry
and the reflection properties of the object in order to create new views of the object
with novel illumination. Starting from scanned 3D geometry, we measure the re-
flection properties (BRDF) of the object from images taken under known viewing
and lighting conditions. The BRDF measurement require only a small number
of input images and is made even more efficient by a view planning algorithm.
In particular, we propose algorithms for ef image-to-geometry registration,
and an image-based measurement technique to reconstruct spatially varying mate-
rials from a sparse set of images using a point light source. Moreover, we present
a view planning algorithm that calculates camera and light source positions for
optimal quality and efficiency of the measurement process. Relightable models
of real-world objects are requested in various fields such as movie production,
e-commerce, digital libraries, and virtual heritage.
Kurzfassung
Zur Synthetisierung realistischer Bilder ist zweierlei notig:¨ ein akkurates Verfah-
ren zur Beleuchtungsberechnung und, ebenso wichtig, qualitativ hochwertige Mo-
delle, die Geometrie und Reflexionseigenschaften der Szene reprasentieren.¨ Die
Aufnahme des Erscheinungbildes realer Gegenstande¨ steht im Mittelpunkt dieser
Dissertation. Um beliebige Ansichten eines Gegenstandes unter neuer Beleuch-
tung zu berechnen, mussen¨ die aufgenommenen Modelle sowohl die Geometrie
als auch die Reflexionseigenschaften beinhalten. Ausgehend von einem einge-
scannten 3D-Geometriemodell, werden die Reflexionseigenschaften (BRDF) an-
hand von Bildern des Objekts gemessen, die unter kontrollierten Lichtverhalt-¨
nissen aus verschiedenen Perspektiven aufgenommen wurden. Fur¨ die Messun-
gen der BRDF sind nur wenige Eingabebilder erforderlich. Im Speziellen werden
Methoden vorgestellt fur¨ die Registrierung von Bildern und Geometrie sowie fur¨
die bildbasierte Messung von variierenden Materialien. Zur zusatzlichen¨ Steige-
rung der Effizienz der Aufnahme wie der Qualitat¨ des Modells, wurde ein Pla-
nungsalgorithmus entwickelt, der optimale Kamera- und Lichtquellenpositionen
berechnet. Anwendung finden virtuelle 3D-Modelle bespielsweise in der Filmpro-
duktion, im E-Commerce, in digitalen Bibliotheken wie auch bei der Bewahrung
von kulturhistorischem Erbe.v
Summary
One central problem in computer graphics is synthesizing realistic images that
are indistinguishable from real photographs. The basic theory behind rendering
such images has been known for a while and has been turned into a broad range
of rendering algorithms ranging from slow but physically accurate frameworks
to hardware-accelerated, real-time applications that make a lot of simplifications.
One fundamental building block to these algorithms is the simulation of the in-
teraction between incident illumination and the reflective properties of the scene.
The limiting factor in photo-realistic image synthesis today is not the rendering
per se but rather modeling the input to the algorithms. The realism of the outcome
depends largely on the quality of the scene description passed to the rendering
algorithm. Accurate input is required for geometry, illumination and reflective
properties. An efficient way to obtain realistic models is through measurement of
scene attributes from real-world objects by inverse rendering. The attributes are
estimated from real photographs by inverting the rendering process.
Work on acquisition of realistic 3D objects is described in this dissertation.
The first algorithm is devoted to a high-precision registration of input images to
a scanned 3D geometry model of the object. This automatic method is based
on the silhouette of the object observed in the images but also considers texture
information. The registration maps the images as textures onto the geometry in
such a way that fine detail present in multiple images is precisely aligned. The
resulting texture represents the object’s appearance under fixed illumination.
One way to achieve realistic rendering under novel viewing and lighting con-
ditions requires measuring the reflection properties of the surface (technically,
the bidirectional reflectance distribution function or BRDF). It is necessary to re-
produce variation in the diffuse and in the specular part of the BRDF across the
surface. Image-based BRDF measurement estimates these properties from real
images of the object from various view points under different illumination condi-
tions. In a new algorithm we capture spatially varying BRDFs from a small set of
input images using a point light source, and excluding other sources of illumina-
tion from the environment. Reliable reflection properties are obtained by fitting
a BRDF model to measured samples of whole clusters of surface points belong-
ing to the same material. Spatial variation in the diffuse and the specular part is
recovered as a per-pixel linear combination of cluster BRDFs.
The quality of the estimated BRDF parameters depends on the selected cam-
era and light source positions. We measure the quality as the uncertainty of the
parameter estimation with respect to the input images. By analyzing the uncer-
tainty it is possible to determine viewing and lighting directions that are optimal
for the measurement. We integrate these insights into a view planning algorithm
that captures reflection properties of real-world objects more efficiently than anvi
unplanned series of input images. The planning algorithm guides experts and
non-experts alike through the acquisition process and ensures that the BRDF is
captured with almost the same quality for all surface points.
In conclusion, we have developed several techniques to capture the appear-
ance of real-world objects. Spatially varying per-pixel reflection properties are
recovered from images in an efficient acquisition process resulting in realistic,
relightable models of high quality.vii
Zusammenfassung
Ein zentrales Problem in der Computergraphik ist die Berechnung realistischer
Bilder, die von einer Photographie kaum zu unterscheiden sind. Die grundlegende
Theorie zur Berechnung solcher Bilder ist seit langem bekannt und fuhrte¨ zur Ent-
wicklung einer Reihe von Algorithmen zur Beleuchtungsberechnung. Diese rei-
chen von langsamen, aber genauen, physikalisch fundierten Methoden bis hin zu
Hardware-beschleunigten Verfahren, die viele vereinfachende Annahmen treffen.
Die Simulation von Reflexionen an Oberflachen¨ ist dabei wesentlicher Bestand-
teil dieser Verfahren. Der beschrank¨ ende Faktor bei der Berechnung photorealisti-
scher Bilder ist heutzutage weniger die Beleuchtungberechnung an sich als viel-
mehr die Modellierung der Eingabedaten. Der Realitatsn¨ ahe¨ der erzeugten Bilder
wird hauptsachlich¨ von der Qualitat¨ der Szenenbeschreibung beeinflusst, die als
Eingabe dient. Genaue Angaben uber¨ die Geometrie, die einfallende Beleuchtung
und die Reflexionseigenschaften der zu berechnenden Szene sind notig.¨ Diese At-
tribute konnen¨ mit bildbasierten Verfahren effizient aus Photographien ermittelt
werden. Realistische Modelle von realen Gegenstanden¨ werden bestimmt, indem
man den Syntheseprozess umkehrt (engl. inverse rendering). Die vorliegende Ar-
beit beschreibt Verfahren zur Akquisition realistischer 3D-Modelle.
Der erste Algorithmus ermoglicht¨ eine sehr genaue Registrierung der Einga-
bebilder zu gemessenen 3D-Geometriemodellen. Der Algorithmus berucksichtigt¨
dabei sowohl die Silhouette des Objekts im Bild als auch die ermittelte Textur-
Information. Durch die Registrierung konnen¨ die Bilder so genau als Textur auf
die Geometrie abgebildet werden, dass auch sehr feine Strukturen aus unterschied-
lichen Bildern nach der Projektion ubereinstimmen.¨ Die berechnete Textur re-
prasentiert¨ das Erscheinen des Objekts unter den festen Beleuchtungsverhaltnissen,¨
die wahrend¨ der Aufnahme gewahlt¨ wurden.
Um beliebige Ansichten des Objekts unter beliebiger Beleuchtung korrekt dar-
stellen zu konnen,¨ mussen¨ die Reflexionseigenschaften in Form der so genannten
BRDF (engl. bidirectional reflectance distribution function) gemessen werden. Da
die Reflexionseigenschaften auf der Oberflache¨ beliebig variieren konnen,¨ ist es
¨notwendig, Anderungen sowohl im diffusen als auch im spekularen Anteil der
BRDF zu berucksichtigen.¨ Mit Hilfe von bildbasierten BRDF-Messungen wer-
den die Reflexionseigenschaften an Hand von Bildern des Objekts gemessen, die
unter kontrollierten Lichtverhaltnissen¨ aus verschiedenen Ansichten aufgenom-
men wurden. In einem neuen Verfahren wird die BRDF heterogener Objekte aus
wenigen Aufnahmen gemessen, bei denen eine einzige Punktlichtquelle das Ob-
jekt beleuchtet. Durch die Anpassung eines BRDF-Modells an alle Messwerte
von Oberflachenpunkten,¨ die zu dem selben Basismaterial gehoren,¨ werden die
¨Reflexionseigenschaften zuverlassig¨ bestimmt. Raumliche¨ Anderungen der Re-
fle werden als Linearkombination der Basis-BRDFs fur¨ jedenviii
Punkt einzeln ausgedruckt.¨
Die zur Aufnahme ausgewahlten¨ Positionen von Kamera und Lichtquelle be-
einflussen die Qualitat¨ der berechneten BRDF. Wir bestimmen die Qualitat¨ durch
Messung der Unsicherheit der ermittelten BRDF-Parameter in Abangigk¨ eit von
den Eingabebildern. Die Analyse der Unsicherheit erlaubt somit die Berechnung
optimaler Blick- und Lichtrichtungen fur¨ die Messung. Hierauf basierend wurde
ein Planungsalgorithmus entwickelt, mit dessen Hilfe die Reflexionseigenschaften
effizienter gemessen werden konnen¨ als durch eine ungeplante Aufnahmeserie.
Der unterstutzt¨ den Anwender wahrend¨ des Aufnahmepro-
zesses und stellt sicher, dass die BRDF fur¨ alle Oberflachenpunkte¨ des Objekts in
annahernd¨ gleicher Qualitat¨ bestimmt wird.
Zusammenfassend wurden mehrere Methoden entwickelt, um das Erschei-
nungsbild realer Objekte zu akquirieren. Durch einen effizienten, bildbasierten
Aufnahmeprozess werden fur¨ jeden Oberflachenpunkt¨ Reflexionseigenschaften
gemessen. Die resultierenden Modelle erlauben, Ansichten des virtuellen Objekts
unter beliebiger Beleuchtung in hoher Qualitat¨ zu synthetisieren.ix
Acknowledgements
My first thanks go to my supervisor Prof. Dr. Hans-Peter Seidel, for his support
during my stay at the Max-Planck-Institut, his valuable comments, and his interest
and promotion of this work. He provided an excellent research environment and
surrounded me with the people and technological equipment that made this work
possible.
Prof. Dr. Pat Hanrahan kindly agreed to serve as an external reviewer, which I
am very grateful for. Furthermore, I would like to thank Prof. Dr. Dieter Fellner,
both for acting as reviewer and for coordinating the DFG Schwerpunktprogramm
3 2V D which partly funded this dissertation.
I would especially like to thank Prof. Dr. Wolfgang Heidrich who aroused my
interest in starting my dissertation in computer graphics. He directed me towards
BRDF measurements and guided me in the first year of my Ph.D.
The projects shaping the basis of this thesis would have been impossible with-
out the co-operation, discussion and steady motivation by my colleagues of the
graphics group at MPI. Their bundled knowledge, competence and creativity pro-
vide a wonderful research environment. I cannot name all of them, but I would es-
pecially like to thank the following people (in alphabetical order): Thomas Annen,
Volker Blanz, Stefan Brabec, Katja Daubert, Michael Goesele, Jan Kautz, Jochen
Lang, Marcus Magnor, Karol Myszkowski, Christian Rossl,¨ Annette Scheel, Phi-
lipp Slussalek, Hartmut Schirmacher, Christian Theobalt, Jens Vorsatz, and Chris-
tel Weins. Furthermore, I would like to thank Marco Tarini who stayed at the MPI
for six months, for his creative way of thinking, and Asla M. Sa´ working with us
for two months.
Building up and maintaining a photo studio for measurement purposes re-
quires a lot of support from non-scientists. Michael Laise and Axel Koppel¨ al-
ways provided prompt help for many practical problems neither of us has faced
before. Thanks go also to Sabine Budde for managing all bureaucratic issues.
Financial support for parts of this dissertation has been provided by three in-
stitutions, being the Max-Planck-Gesellschaft zur Forderung¨ der Wissenschaften
e.V., and the Deutsche Forschungsgemeinschaft under a subproject in the DFG-
3 2Schwerpunktprogramm Nr. 1041 V D “Verteilte Verarbeitung und Vermittlung
digitaler Dokumente”. Furthermore, the work in this thesis has contributed to
the initiation of the ViHAP3D Project IST-2001-32641 “Virtual Heritage: High-
Quality 3D Acquisition and Presentation” funded by the European Community.
Finally, I shall not forget the most important never-failing support I received
during the last three years. I thank Viola and my family for their help whenever I
needed them in order to complete this dissertation.x