Neurale netwerken
advertisement
Neurale netwerken Opdrachttaak kennissystemen: Door: Jeroen Van den Elsen Piet Vermeir Koen Van Campenhout Inleiding Geschiedenis Wat is een neuraal netwerk? Biologisch Neuron Artificieel Neuron Artificieel Neuraal Netwerk Een eenvoudig voorbeeld van een artificieel neuraal netwerk met drie lagen. Eigenschappen van Artificiële Neurale Netwerken Local processing Parallel processing Leren Geheugen Bestand tegen ruis Definitie van Artificiële Neurale Netwerken Een ANN is een rekenmodel, gebaseerd op het dierlijk neuraal netwerk, waarbij een invoer verwerkt wordt door een parallel netwerk van neuronen, de een al belangrijker dan de andere, en verbindingen om zo tot een uitvoer te komen. Elk van die neuronen verwerkt simpele functies en beschikken over een geheugen waardoor ‘leren’ mogelijk wordt gemaakt. Mogelijkheden van een Artificiële Neurale Netwerken Classificatie Voorspellen Data associatie Data conceptualisatie Data filtering Enkele toepassingen Muis en trackerball Kunstmatige intelligentie Handschrift herkenning Eigenschappen van verschillende soorten ANN Type Neuronlagen Soort invoer Activatie functie Leermethode Leeralgoritme Eigenschap 1: het type Feedforward type Eenrichtingsinformatiestroom Alleen verbindingen met andere neuronlaag Feedback type Ook verbindingen met eigenlaag Eigenschap 2: de neuronlaag Input layer Output layer Hidden layer Matrix layer Map layer Eigenschap 3: Soort invoer Binaire waarde Reële waarde Eigenschap 4: activatie functie Verschillende types onderscheiden zich van elkaar door het type output die ze geven Eigenschap 5: Leermethode Supervised learning Met antwoordboekje Generaliserend gedrag Unsupervised learning Zonder antwoorden Gebruiken van patronen Reinforcement learning Met een goed/fout signaal Eigenschap 6: leeralgoritme Hebb learning rule Delta learning rule Backpropgation Simulated annealing: gebruikt bij feedback types Self organization: Maken gebruik van supervised learning gebruikt bij kohonen Enkele verschillende soorten: Perceptron Multilayer perceptron Backpropagation net Hopfield net Kohonen Kaart Boltzmann Machine Het perceptron Type Feedforward Neuron Lagen 1 inputlaag 1 outputlaag Input Waarde Types Binair Activatie Functie Hard Limiter Leermethode Supervised Leeralgoritme Hebb Learnig Rule Wordt vooral gebruikt bij Simpele logische operaties patroon classificatie Het multilayer perceptron Type Feedforward Neuron Lagen 1 inputlaag 1 of meer verborgen lagen 1 outputlaag Input Waarde Types Binair Activatie Functie Hard Limiter / Sigmoid Leermethode Supervised Leeralgoritme Delta Learnig Rule Backpropagation (meest gebruikt) Wordt vooral gebruikt bij Complexe logische operaties patroon classificatie Backpropagation Topografische Kaarten Een groep units heeft verbindingen naar elke unit in een competitieve laag. De units zijn geordend Dit wil zeggen de unit die het sterkst reageert op een invoer omringt wordt door de units die ook, maar minder sterk, reageren. En hoe verder de units liggen hoe minder sterk deze reageren. Vervolg De topografische kaart ordent zich Leert reageren op een extern invoer Past zich aan de invoer aan Heeft geen hulp nodig van buiten af Wordt ook wel self organizing map genoemd Leren in een competitieve map Definitie: Wanneer een axon van cel A dicht genoeg staat om een cel B te exciteren, en dit herhaaldelijk of continu activeert, dan ontstaat er een groeiproces of metabolische verandering in 1 of beide cellen. Hierdoor stijgt A’s efficiëntie. Minimale competitieve kaart Twee invoervectoren p1 en p2 en gewichten u1 voor unit 1 en u2 voor unit 2. De bedoeling is dat tijdens het lerev de vectoren van de gewichten zich verplaatsen naar de invoervectoren. Reactie van ongetrainde units Training van minimale competitieve netwerken Reactie van getrainde units Vergelijking van reactie door ongetrainde en getrainde units Analyse van complexe data Hoe kan data (items met een label en een reeks getallen die een statistische eigenschap van het item representeren) in beeld gebracht worden zodat er verbanden kunnen gelegd worden tussen de items? De meest simpele oplossing: Andere oplossingen Een kohonen kaart met minimal spanning tree Andere oplossing Merge clustering algoritme Enkele Toepassingen
