La lecture en ligne est gratuite
Read Download

Share this publication

agBimoter,dalhniscAudiovisualMedienP1.ercepR.tioThomasnhinAugustInteractiveBrandenApplicationIlmenauSystemsAmesofCA,MoraunhoferderateTComplexitbyhenDissertationv:ilm1-2009000273zurDr.-Ing.ErlangungTdesUnivakDr.adPh.D.ehmtainisc3.henorerGradesf?rDoktoringenieurhnik,(Dr.-Ing.)derv17.or2007gelegtwissenscderhe:Furn:nakult?tter:f?rUniv.-Prof.ElekKarlheinztrotecburghnikecundheInformationstecersit?thnik2.derDurandTBegaultecNASAhniscResearchenCenUnivMouneView,rsit?tUSAIlmenauDr.-Ing.vSponFDipl.-Ing.InstitutUlricDigitalehtecReiIlmenautagerEinreicgebung:orDezemeneramT1.derJulihaftlic1970Ausspracin21.Gelsenkirc2009henbn:de:gbGutachrelevZusammenfassungdenierteDieidenvescorliegendeaufDissertationInbonneneneEGscnanalyseh?ftigtzun?csicunktionsf?higkhnicmitabgestimmA-implemenspIn-ektenEingabderHilfeQundualiedingtt?tsvwonahrnehmhungorrektvonondieinAuswteraktivmoenM?glicaudiotzeitbvisuellenTAnwwdieendungssystemen?hrendmoundderaterEineKungstestsomplexit?t,ist.wiersieZielenz.B.edurcWhWdenerizMPEG-4InStandardvdeniertvisuellsind.iDieahrnehmFundrage,Durcwteelcterpreta-hewurdeFtaktorenheEinussderaufeitendievwtahrgenommeneuniziertQualit?tervtonewaudioersonen.visuellennAnauftreten,woendungssystemeneiterehabexpenexistierendenistdaleenobtscFheideutlic-fehlendedendndaf?r,terteilungwieExpdiet.nkurdiebgegebegderrteeerstelltennzthinauszurdenVwerf?gungauditivstehendeeit,Reckhenleistung(cross-mof?rndieeitEcvisuellenhdurctestmethozedingungen,eit-tlicSimderulationExpvansconund3DderSzenenDundobderenAudio-EngineDarbietungorfensinnwvaufolleitevSzenenerteialleltEcwhnerdenRaumakustiksoll.desW?hrendkQualit?tsfaktorenkf?rMunimoPladaleeinemauditivBenerfacealsderaucdurchest-visuelletlicStimtudielTi?nnenseitLoggilangemaufgezeicbdieekatannStatis-twsinddeundestmethoenf?rtsprecahr-hendezMo?bdelleaudioexistieren,m?glicmei?ssendassdiesehf?rtnisdindeahrnehmbimoeinedalehaudiodurcvisuelleteWerscahrnehmeiunginotencwhbimohergeleitetungwnenerden.steuern.Dabhf?hrungeiungsexpidiestitbestsystemsekDar?bannent,AnhaltspunktedassveineaufWGesamecinhselwirkungMozwi-diescqualit?theneurteilenauditivwerInunddiesenvisuellertQualit?tgenebWiederholbarkestehvt,audionicWhungsteststhjedoTcdenh,-bwieunddieeigenMechehanismenhf?hrungmenscaufeinanderh-tenlicerimenhermitaudiohlie?endervisuellerertungWInahrnehmtionunggewgenauDaten.arbazueiten.eineEsjektbasierte,wirddulareaucmitenhwangenommen,unddasstiert,derelcFbasierendaktordenInhktneMPEG-4raktbihreibungonF?higkeinenzurwhesenerectlicunghenonEinussbietet.aufnerhalbwenahrwicgeeltennommeneestsystemsQualit?tommhat.derDasPZie-4lydiesermitArbhard-eitaregest?tztenwutzerinar,eeinzurSystemef?rQualit?tsbdieertungenzeitsparendehundTwpeitgehendS?mautoma-hetisierteanDurcehf?hrungEreignisse,vwoneinersubestsessionjektivkenmitaudioeinesvisuellenng-TWolsahrnehmhnetungstestsf?rimwgegebDeneneKmitontikprogrammentextortiertzuerden.erstellenAnalyseundresTf?rdeneinige-empfehlungenexemplariscunimoheWExpnehmerimensollteteeigen,einzusetzen,derenwertragungelcdenhvisuellenealler-hsteDabAussagenwurde?bh,erbaudiodurcvisuelledieWKennecdehselwirkungenzugrundeliegeundedenWEinussungsprozessevhstonUnInnacteraktiondenaufderdhgef?hrtenierimenesinnWollahrnehmheinungWerlaubtenrhsollten.nDemzufolgeonngliederteEinussfaktorensictiziertherden,diedieArbdaleeitahrnehminimdreieAufgabKenbtexte-BeireicDurche:derdieahrnehmErstellungerimeneineswurdegeeignetenFTeestsystemsdesaufTdervGrundlageiert.eerinesergabvsicorhandenen,erstejedof?rcEinusshoninteraktionseidienerahrgenommeneAudiofunktionalit?ttqualit?t:noteraktioncderheneingescdalit?thr?nktenerringertMPEG-4F?higkPlaAudioykers,bdaszuSic?nnen,her-?hrendstellengest?tztevteraktionondal)VEektehrgleiczwingehdbarkreitert.undforAbstracttsTheerdissertation.atthehandcollected:dealsaudiowithandasptsectstoofwqualitdoytspsimplerceptionhapticofeninsteractivbimoevaudioinuencingvi-psualeapplicationofsystemspofamothederatetedcomplexitonytheasjectse.g.wsdenedcollectedinAtheforMPEG-4whetherstandard.bBecausepinaccordingtheseFsystemsntheenasystem,vrstailableerallcomputingdalitpwhereasocomparabilitwofertheisordinatedlimiandtobeasd,wsitsimisdescriptiondeMPEG-4cisivhebtotheirkntoorelevwassessmenwhicehappropriatefactorstheinuencemethothesubperformederceivtheedeasilyqualitthatyab.sOnlyofthencouldcanhtheumaevconailableerceptioncomputingByptsoandwAparterroleberceivevdistributedtheinhtheaudiomost(cross-moeectivgeeandandducibilitecienvisualtresults,werformanceaofyerimeforthetheterpretationsimdata.ulationmoandenginedisplaandyhofpau-rodiolationsvisualMPEG-43Dinscenes.fromWhereasyqualitbyoffactorsDevicefortesttheenunimoydalloauditorythatandjournalizevisualtstimduringulisession.arecanwortedellanalysisknotownanalysisandellrespishedectivandemomoedelsasofndptransfererceptionvi-hacasevossible.eevidenbdueeenknosuccessfullythedproeavisedlbasederimenontheirthiseknothewledge,thethisaisernotcouldtruedforthatbimoodaldalaudiothevisualonperformingerception.expFtheorfunctionalittheoflatter,vitthat,isforonlyinknoinwnothatysomebkindteractionofminreducesterdepabilitendencyratingbyetsuallywineennotauditorythisandyvisualreproerceptionydoaudioesassessmenexist.andTheandepxactofmecserieshanismscoofexphnumanincludingaudioanalysisvisualinpofercecollectedpAntiject-basedondularharenderingvweco-designednot-implemenbwhiceenallode-toscriberformed.eItom-acousticisu-assumedbasedthattheinsceneteractionparadigmwithreal-timeanApartapplicationtheorplasceneer,hastestaencmaconsistsjorainuenceInputupusedonythesubptoerceivteredqualitoratingsvaerallggingqualitolyallo.toTheallgoalanofevthistswanorktwTheasdatatobdeviseexpacomfortablysystemfurthercapableusingofstatisticpols.erformingthoroughsubofjectivweeaudiotablvi-testsualdsassessmenrecommendationstuni-sdalinjectivtheassessmengivwenpcontotextoutinaatolaudioarsualgdalelyisautomatedpwItaecameyt.-Bytoapplyinglimitedthewledgesystem,outrstunderlyingevierceptualdencecesseregarding-audionovisualeincategorizationterdepexpendencytsandtoinuencegoalsofbinhelpfulteractionorganizeupresearconinpeld.er-urthermore,ceptionnshouldbbofefactorscolblected.iThereforeethistiedwexerciseorktrolwvasbimocompposedinofgivthreeceltext.dpstheoferceptualactivities:erimentheusingcreationdevisedofitsaytesteasebuseencasheried.basedfromonsometheindicationsathevofailabletbutraction(regardingptheedaudiovfunctionalitquality)hasomewhaterestrictedeenMPEG-4inplainyauditoryer,otheypreoacuman'scupationywithcorrectlymethothedsqualitand,framewviorkbasedre-dal)quirementeractiontsesthatnecessarilyeneratensueect.reFDanksagungten,DieihrevdankoeirsielHerrniegendeDiplArbf?reiFtderenttstandR.iSpmmeinenRahmenhmeinerSatuT?tigkkritisceitdieseralsewissenscndhaftldiesericArbheresen.Mitar-Dr.bPh.D.eiterr.-Ing.amWInstituticf?rollegenMedienMathiastecarkhnikMSc.dero-PyykkTangeregtenecDiskussionenhnErstel-ieit.scKatjahenhUnivterst?tzungersit?twIlmenau.eMeinOhDank?regilnicthdenhMitarbHerrneiternDurandundBegaultStudierendenunddesDFThomasacorer.hgeeiterhinbieteseElektronischheKMedienHerrntec.-Inf.hnik,Scwwelcundheraumireng.dieJumiskErst?ediellungundderhenvborliegendenderDissertationlungerm?glicArbhMeinerten.rauMeindankbicesondererf?rDankUngiltumeinemGeduldDoktorv?hrendaterErstHerrnllungUniv.-Prof.Dissertation.Dr.-Ing.neKarlheinzwBrandendieseburgeitundhdenm?glicbgeweidenUlricKReiterorreferen.ContentsStreamsI.Introercduction.1.1.Introiduction.3.1.1.BacPkground..and.......trilo.39.................47...A...Bimo...............t...eradditivit...2.4.6........3.1.2POv.erviewctivof.the45Thesis..P.Preliminary.....visual.....wn.....37.......37.........y.........ed........5.1.3.Con.tribut.i.ons.of.thettenA.u.thor..P...............tion.......A.y...A.-.Mo.........3.ralization.u..7.1.4.Related.Publications2.4binyPthe.Author......Visual...............V.................Sync....7.I.I.Related.R.e.sea2.4.4rchP11y2.Human.P.erception.13.2.12.4.5Visual.P.erception............Sic...............2.5.in.............43.of...........2.5.2.Cycle....14.2.1.1.Ph.ysiology.of2.5.3VisualAP.erception............Di.tio.erceptual.mits.....F.tion.Qualit.BTL.a.47.osit....14.2.1.2.Visual.P.erception.of.SpaceRo.and.Audio.Stim.l.................35.Kno.Eects.Human.dal.erception..........15.2.2.Auditory.P2.4.1erceptionDominance.............................2.4.2.en.quism..........................18.2.2.1.Ph2.4.3ysiologyhronof.Auditory.P.erception..........................40.Impac.on.erceiv.Qualit..18.2.2.2.F.requency.and.Directional.Hearing./.Auditory.Lo.calization42.Sup.y......22.2.2.3.Auditory.P.erception.of.Space..........43.Motion.kness............................23432.3AMectionhanismsHumanoferceptionCognition./.Pro.cessing.of.P.ercepts............2.5.1.erception.Multiple............24.2.3.1.T.ransmission.of44InformationTheinerceptualthe.Nerv.ous.System...................25442.3.2SeleMeetttenho.ds.of.Examination......................2.5.4.vided.tten.n.P.Capacit.Li...........2.5.5.rom25tten2.3.3toNeerceptualuyrophtheysiologyPofeptuthelHumandelBrain2.6.P................................26492.3.4ComputationalJoinomtcousticsProAucessing51of.VI.Con.ten.tsImplemen3.1.Exact.SimEngineulation.vs..Real-Time.Rendering......Rendering.......Mediator.......n..............53ANGA3.2HostRenderingEngineMethoProds..t.......T.....88.............5.3.5...........r.......5.5............54.3.2.1.ITmage.SourceFloMetho.d..to.the.5.6.1...Exampl.103...5.3.1...................s.......5.3.4......55.3.2.2.Ra.y.T.racingandMetho.d..Conditional.................Ro.......dular.....dule.....92.......92....56.3.2.35.5.4Beam.T.racing.Methoerviewd......C...98.Comp...5.5.8.Chart:.5.6.erceptual...de.....4.....Approac............59.3.2.4.Other.Metho.ds.for.theRoutesER.Calculation..............5.3.3.ol................63aluators3.2.5.Rendering.of.Diuse.R.e.v.erb.erationScript...............5.3.6.and.........90........63.3.2.6.Asse.m.bly5.3.8of.ER.and.DR..........91.A.MPEG-4...........ANGA.Audio.......5.5.1.are..........66.3.3TAuditoryduleVirtual.En.vironmen.ts......T.dule.............ANGA.Mo.........94.Class............675.5.63.4ChartAudiompvisualExampleVirtual.En.vironmenCurrentsT.ts.......ne.Flo.T...tation.Audio.h.....4.erceptualP.........5.6.2.Implemen....72.4.InteractivitPyinIssuesAudioand.Presence.77.4.1.In88teractivitSensorsy.Issues................................5.3.2..............................77.4.1.1.Late89nIcterpyator...............................89.V................................78894.1.2ECMAI.n.put.and.P.erceptual.F.eedbac.k..............90.BIFS-Comm.s.BIFS-Anims...................5.3.779s4.2.Presence............................90.Use.Input.................................5.4.om.coustic.in..79.I.I.I.T.o.ols.81.5.IA91VTASMoI3DReal-timePlaRenderingy.er.as.Rendering.Platfo.rm.83915.1TMPEG-4HardwSystemsMo.........................5.5.2.ANGA.Mo...........................5.5.3.ANGA.Mo..83.5.2.MPEG-4.Audio.and.Scene.Description..........94.T.Signal.cessing.dule...................5.5.5.ANGA85Ov5.2.1.BIFS.No.des..................95.Signal.w.and.o.onen.Graph...........5.5.7.tly.ted.ANGA.onen............86985.2.2SceAudioBIDescriptionFSSignalNowdesThe.ANGA...100.Implemen.of.MPEG-4.P.Approac.........102.MPEG-.No.P.arameters.................102.MPEG-.Audio88tation5.3eManipulation.and.Con.trol.of.Audio.visual.Scenes5.6.3.erceptual.h.the.ANGA.Engine.........104..Con.ten.tsSalienceVI.I.5.7.Implemen.tation.of.the139MPEG-4.Ph.ysical.Approac.hdal.vs..teractiv.............6.4.......dal105.5.7.1.PhofysicalceduresApproac.h.inConsiderationstheSensorT.ANGASensorAudio.Engine........Hardw.........ss..108.5.7.2.Reduction.of.Image7SourceofCounet......Uni.....Discussion.....onse...of.....6.2.1.......Use.e110.5.7.3DeviceStop.Criteria.for.A.cousticySim.ulati.on............Firm.........Sub.Logging.....n....111.5.7.4AssessmeAssem.bly.of.EarlyIVReections149andInDiuseyRevPerb......Standards.......156.t.ssmen.159111.5.8.A.cousticMethoObstructionScales.161.Assessmen.....Bias.....163.ttributes.Systems.erimen.Material.166...MIDI.............135.MIDI.In.......6.3....112.5.9.Distributed.Sound.Sources......Usabil.................139.................140.are..........114.5.10.Dynamic.AudioTSceneeGraphenSimplicationo.........6.4.1.Design.............144.t......116.5.10.1.Octree.Quan.tizationrcement.Mo.P.del.e.derate.8.155.vs..n...........8.2.................Fitness.dal.for117s5.10.2.Audio.RenderingSuggestedoftsSimplied.Scene.Graphs....159.T.s,.Assessmen.....Qualitativ.titativ........1188.5.25.11ormatMulti.Core./.Multi.Thread.Pro.cessingProp.y.or.A...8.5.4.al.T.........135.I3D.Input............119.5.11.1.Dynamic.Comp.onen.t.P.arallel6.2.2Renderingof.Input.in.teractiv.Scenes...........136.Input........120.5.11.2.Dynamic.Comp.onen.t.Cluster.Rendering..............6.3.1.it..............121.5.11.3.Color.Clustering..............6.3.2.are.................................6.3.3.w....123.5.11.4.PTI.-.Pro.cessing.Time.Index..............141.SAL.-.jectiv.Asse.m.t.T.ol............125.5.11.5.P143erformanceAssessmeoftthe.Metho.ds........................6.4.2.n.Session................126.6.System.fo.r.Subjective145AudEnfoiovisual147AssessmeSaliencendelt7.1sosit:131Mo6.1forSystemteractivStructureApplications.Mo.Complexit.151.Bimo.Evaluation.8.1.erceptual.Aectiv.Measureme.t.....................155.Existing....................131.6.1.1.Comm.unication.Structure....8.3.of.mo.Assessmen.Rules.Bimo.A.se.ts.......8.4.Categorization.Assessmen..............131.6.1.2.Comm.unication8.5Protoofcolest.d.Pro.and.t.........8.5.1.e.Quan.e.ts...............162.Resp.F.and133.6.2.MIDI.in.the.I3D..............8.5.3.osal.Qualit.A.f.(In.e).V.....164.Exp.t.Design.and.est...........VI.I.IaCon.ten.ts1988.5.5andTAssessmenest.SubDiscussionjectsT...Summary...................W...tation.....I.......Audio...and...h.Mapping........166.8.5.6.T.estAssessmenRolitom.-196Lab.oratory.CharacteRatingr.i.stics....erceiv.....Implemen.....8.11.4...of.est........167.8.6.F8.13undamen.tals.of.Statistical8.13.2Analysis..8.13.3.................Summary.......a.erceiv.195.ask.....Setup..168.8.6.1.De.scriptivt,e.StatisticsT.............Assessmen.T.lit.est.........Assessmen...and.............8.12.on..170.8.6.2.Anal.yt.iImplemencalandStatistics........8.12.4.......d.......8.13.1.......Proling.......Analysis.....Preference.....8.13.5171.8.7.Assessmen.t:.Optim.um.Num.b.er.of.L192oudConclusionssp.eak.ers......193.Inuence.orking.on.Qu...A.Memory..........173T8.7.1.T.est.Setup..........8.10.3.the.ask.ale...Analysis.Results...........200.Conclusions...........203.Inuence.orking.on.Qu.,.8.11.1....174.8.7.2.I.mplemen.tation.of.the203AssessmeofnTtSc...8.11.3.est.............and.............t:.In.erceiv177y8.7.38.12.1Asse.ss.m.en.t.T.ask.and.Rating212Scaleof.T.Sc...8.12.3.est.............and............178Mixed8.7.4oAnal.ysis.and.T.est.Results....ternal.............ree...............Pro...........8.13.4179.8.7.5.Summary.and.Conclusions....................222..........................1818.9.88.8andAssessmen.t:.Num.b.er.of.In.ternal.W.ork.c.hannels.for8.10Pt:erceptualofAWpMemoryproacaskhP.ed.a182y8.8.1.T8.10.1estScalableSetuporking.T.....................8.10.2.est.................................197.Implemen.of182Assessmen8.8.2TIandmplemenSctation.of.the.Assessme8.10.4nandt,estT.ask.and.Rating.Scale...........183.8.8.3.Anal8.10.5ysisandand.T.est.Results..................8.11.t:.of.W.Memory.ask.P.ed.a.y.I.203.T.Setup..184.8.8.4.Summary.and.Conclusions......................8.11.2.tation.the.t,.ask.Rating.ale.....204.Analysis.T.Results185.8.9.Assessmen.t:.Inuence.of.I.n.teraction.on.P.erceiv206edSummaryQualitConclusionsy.....................1862108.9.1AssessmenTInuenceestVisualSetupteraction.P.ed.Qualit...212.T.Setup.................................8.12.2.tation.the.t,.ask.Rating.ale....1862138.9.2AnalysisQuanTtitativResultse.Assessmen.t:.Implem.en.tation,.T.ask.and.Rating.Scale..215187Summary8.9.3ConclusionsAnal.ysis.of.the.Q.uan.titativ.e.Assessme.n.t..219.A.Metho.Appr.ac....................18.9.8.9.4.Results220andInDiscussionPreference.......................221.F.Choice......................189.8.9.5.Qualitativ221eGeneralizedAssessmencrustest:.Implemen.tation.and.Questionnaires.........190.8.9.6221AnalExternalysisMappingof.the.Q.uali.tat.i.v.e.Assessmen.t..222.Summary............................191.8.9.7.Resultsand