80 Pages
English
Gain access to the library to view online
Learn more

Learning and generalisation in neural networks with local preprocessing [Elektronische Ressource] / presented by Merab Kutsia

Gain access to the library to view online
Learn more
80 Pages
English

Informations

Published by
Published 01 January 2007
Reads 27
Language English
Document size 1 MB

Exrait

DISSERTATION submitted to the Combined Faculties of the Natural Sciences and of Mathematics of the Ruperto Carola University of Heidelberg, Germany for the degree of Doctor of Natural Sciences
presented by Merab Kutsia MSc born in Tbilisi, Georgia
Oral examination: July 23, 2007
Learning and Generalisation in Neural with Local Preprocessing
Referees:
Prof. Prof.
Dr. Dr.
Networks
Heinz Horner Franz Wegner
Learning and Generalisation in Neural Networks with Local Preprocessing We study learning and generalisation ability of a specific two-layer feed-forward neural network and compare its properties to that of a simple perceptron. The input patterns are mapped nonlinearly onto a hidden layer, much larger than the input layer, and this mapping is either fixed or may result from an unsupervised learning process. Such preprocessing of initially uncorrelated random patterns re-sults in the correlated patterns in the hidden layer. The hidden-to-output mapping of the network is performed by a simple perceptron, trained using a supervised learning process. We investigate the effects of the correlations on the learning and generalisation properties as opposed to those of a simple perceptron with uncorre-lated patterns. As it turns out, this architecture has some advantages over a simple perceptron.
Lernen und Generalisierung in neuronalen Netzen mit lokaler Vorverarbeitung Wir untersuchen Lern- und Generalisierungsverhalten eines zweischichtigen feed-forward neuronalen Netzes und vergleichen sie mit den Eigenschaften eines ein-fachen Perzeptrons. Die Eingangsmuster werden nichtlinear in einer Zwischen-schichtabgebildet,dievielgro¨ßeralsdieEingangsschichtist.DieseAbbildung istentwedervorgegebenoderwirddurcheinenun¨uberwachtenLernprozessbes-timmt.DerartigeVorverarbeitungurspru¨nglichunkorrelierterzuf¨alligerMuster erzeugt Korrelationen in der Zwischenschicht. Von der Zwischenschicht werden die MusterdurcheineinfachesPerzeptronklassizert,dasmithilfeeines¨uberwachten Lernprozesses trainiert wird. Wir untersuchen den Einfluss der Korrelationen auf das Lern- und Generalisierungsverhalten des Netzes und vergleichen die Ergebnisse mit dem Fall eines einfachen Perzeptrons mit unkorrelierten Mustern. Diese Ar-chitekturweisteinigeVorteilegegen¨ubereinemeinfachenPerzeptron.
To
my
family