Biologisch Realisme in Neurale Netwerken

Biologisch geïnspireerde aspecten in
gepulste neurale netwerken
Michiel Hermans
Promotor: prof. dr. ir. Dirk Stroobandt
Begeleiders: dr. ir. Benjamin Schrauwen, ir. Michiel d’Haene
Doelstelling
 Neurale netwerken zijn succesvol in verwerken van complexe
niet-lineaire data
 Gebaseerd op werking van het brein: netwerk van eenvoudige
rekeneenheden  neuronen
 Er bestaat een breed scala aan neuronmodellen: gaande van
zeer eenvoudig tot realistisch maar zeer complex

Geeft deze biologisch realistische complexiteit een
meerwaarde aan computationele vermogens?
Werkwijze
Wat gebruiken we?
 Gepulste neuronen (conform biologie)
 Reservoir-computing
Wat werd onderzocht?
 Synapsmodellen en synaptische vertragingen:
geheugenwerking
 Intrinsieke plasticiteit: regelen van activiteit
Structuur van deze presentatie
 Gepulste neuronen
 Gebruik van neurale netwerken (reservoir computing) +
onderzochte taken
 DEEL 1: opzet en resultaten van gebruik van
synapsmodellen en synaptische vertragingen
 DEEL 11: opzet en resultaten van gebruik van intrinsieke
plasticiteit
Gepulste neuronen: algemeen
Gepulste neuronen: algemeen
Basisidee:
 Communicatie gebeurt uitsluitend in vorm van discrete pulsen,
de enige informatie in een puls is zijn tijdstip
 Ontvangen pulsen drijven interne dynamica aan, die zelf pulsen
veroorzaakt wanneer bepaalde voorwaarden voldaan zijn
Gepulste neuronen: intern
Leaky-integrate and fire (LIF)
 Puls komt binnen op synaps
 Ogenblikkelijke respons
membraanpotentiaal
 Grootte respons evenredig met
gewicht synaps
Gepulste neuronen: intern
LIF + exponentiële synapsen
 Puls komt binnen op synaps
 Synaps veroorzaakt stroom
 Integraal stroom wordt respons
membraanpotentiaal
 Als s = 0 terug vorige situatie:
geen synapsmodel
Gepulste neuronen: intern
pulsen
Zonder synapsmodel
Met synapsmodel
Neuraal netwerk:
reservoirconcept
Neuraal netwerk:
reservoirconcept
Neuraal netwerk:
reservoirconcept
Neuraal netwerk:
reservoirconcept
Neuraal netwerk:
reservoirconcept
Meten van prestaties: taken
Temporele patroon-classificatie:
Meten van prestaties: taken
Temporele patroon-classificatie:
 Volgorde:
Meten van prestaties: taken
Temporele patroon-classificatie:
 Volgorde:
 Woordherkenning:
Engels gesproken cijfers
van “zero” tot “nine”
ste
1
deel:
interne tijdschalen + vertragingen:
geheugenwerking
Geheugenwerking
 In reële toepassingen is relevante informatie verspreid
over de tijd:
 Neuraal netwerk moet in staat zijn informatie enige tijd bij te
houden
 Deze informatie moet kunnen interageren met nieuwe
Geheugenwerking
Interne tijdschalen:
 Twee tijdsconstanten: m en s
 Zorgen voor een intern
geheugen van het neuron
Synaptische vertraging:
 Connecties hebben vaste
vertraging
 Op elk ogenblik informatie van
verschillende momenten in het
verleden
 Ook gebaseerd op biologie
Resultaten: Interne tijdschalen
 Foutfractie in functie van m en s
 Geen synaptische vertragingen
Resultaten: Interne tijdschalen
Woordherkenning
 Weinig afhankelijk van m
 Slechte prestatie als s = 0
 Optimum m = s = 100 ms:
foutfractie gemiddeld 1,84 %
 Komt overeen met relevante
tijdschaal in spraak
Resultaten: Interne tijdschalen
Volgordeclassificatie
 Optimum m = s = 40 ms:
foutfractie gemiddeld 1,1 %
 Werkt ook nog goed zonder
synapsmodel
Resultaten: vertragingen
Resultaten: vertragingen
• Vertragingen uniform gekozen tussen 0 en dmax
• Gemiddelde vertraging = optimale s uit vorige test
• Foutfractie in functie van m
• 3 neuronmodellen met vaste verhouding m en s :
• Halen we betere prestaties?
Resultaten: vertragingen
Woordherkenning
Foutfractie
Foutfractie
Volgorde
Heel wat beter
Een beetje beter
Conclusies:
• Zowel synapsmodellen als synaptische vertragingen
leveren meerwaarde aan temporele prestaties!
• Beste prestaties wanneer de tijdschalen van het
reservoir overeenkomen met de tijdschalen van de
taak.
de
2
deel:
Adaptatie en regeling van activiteit:
intrinsieke plasticiteit
Intrinsieke plasticiteit
Biologische neuronen regelen hun activiteit:
 Bij te weinig invoer verhogen ze gevoeligheid zodat ze alsnog
pulsen sturen
 Omgekeerd: bij te veel invoer verlagen ze hun gevoeligheid zodat
ze minder pulsen sturen
 Deze eigenschap noemen we intrinsieke plasticiteit (IP)
In willekeurig geconstrueerd reservoir:
 Bepaalde neuronen worden steeds gestimuleerd, andere steeds
geremd in activiteit
 Zeer grote spreiding activiteit: sommige neuronen vuren helemaal
niet, andere veel te veel
Intrinsieke plasticiteit
Hoe implementeren we IP in LIF-neuronen?
Variabele vuurdrempel:
 Vuurdrempel daalt lineair tussen uitgezonden pulsen
 Bij uitzenden van puls wordt vuurdrempel verhoogd met vaste waarde
Intrinsieke plasticiteit
Hoe gaan we praktisch te werk?
 Optimale opzet uit vorige resultaten
 Eerst testfase: IP staat uit
 Dan plastische fase
 IP staat aan
 Netwerk wordt gevoed met
volledige dataset
 Vuurdrempels kunnen veranderen
 Opnieuw testfase, enz. …
 Proces wordt enkele malen herhaald
Intrinsieke plasticiteit:
resultaten
Intrinsieke plasticiteit:
resultaten
Intrinsieke plasticiteit:
resultaten
Conclusies
 IP zorgt ervoor dat alle neuronen ongeveer
evenveel deelnemen in de taak
 IP geeft verbetering van prestatie voor alle taken
 Woordherkenning best na 1 adaptatiecyclus
(foutfractie: 1,85%  1,35%)
Toekomstig werk
In het kader van biologisch realisme
 Meerdere tijdschalen per neuron
 Nog realistischer neuronmodellen
 Invoeren van biologisch realistische connectietopologie
 Maximale prestatie voor minimale activiteit
 Invoeren van andere plasticiteitsregels:
 STDP
 dynamische synapsen…
 …
…
Bedankt voor de aandacht
Einde
… tenzij er nog vragen zijn…