Biologisch geïnspireerde aspecten in
gepulste neurale netwerken
Michiel Hermans
Promotor: prof. dr. ir. Dirk Stroobandt
Begeleiders: dr. ir. Benjamin Schrauwen, ir. Michiel d’Haene
Doelstelling
Neurale netwerken zijn succesvol in verwerken van complexe
niet-lineaire data
Gebaseerd op werking van het brein: netwerk van eenvoudige
rekeneenheden neuronen
Er bestaat een breed scala aan neuronmodellen: gaande van
zeer eenvoudig tot realistisch maar zeer complex
Geeft deze biologisch realistische complexiteit een
meerwaarde aan computationele vermogens?
Werkwijze
Wat gebruiken we?
Gepulste neuronen (conform biologie)
Reservoir-computing
Wat werd onderzocht?
Synapsmodellen en synaptische vertragingen:
geheugenwerking
Intrinsieke plasticiteit: regelen van activiteit
Structuur van deze presentatie
Gepulste neuronen
Gebruik van neurale netwerken (reservoir computing) +
onderzochte taken
DEEL 1: opzet en resultaten van gebruik van
synapsmodellen en synaptische vertragingen
DEEL 11: opzet en resultaten van gebruik van intrinsieke
plasticiteit
Gepulste neuronen: algemeen
Gepulste neuronen: algemeen
Basisidee:
Communicatie gebeurt uitsluitend in vorm van discrete pulsen,
de enige informatie in een puls is zijn tijdstip
Ontvangen pulsen drijven interne dynamica aan, die zelf pulsen
veroorzaakt wanneer bepaalde voorwaarden voldaan zijn
Gepulste neuronen: intern
Leaky-integrate and fire (LIF)
Puls komt binnen op synaps
Ogenblikkelijke respons
membraanpotentiaal
Grootte respons evenredig met
gewicht synaps
Gepulste neuronen: intern
LIF + exponentiële synapsen
Puls komt binnen op synaps
Synaps veroorzaakt stroom
Integraal stroom wordt respons
membraanpotentiaal
Als s = 0 terug vorige situatie:
geen synapsmodel
Gepulste neuronen: intern
pulsen
Zonder synapsmodel
Met synapsmodel
Neuraal netwerk:
reservoirconcept
Neuraal netwerk:
reservoirconcept
Neuraal netwerk:
reservoirconcept
Neuraal netwerk:
reservoirconcept
Neuraal netwerk:
reservoirconcept
Meten van prestaties: taken
Temporele patroon-classificatie:
Meten van prestaties: taken
Temporele patroon-classificatie:
Volgorde:
Meten van prestaties: taken
Temporele patroon-classificatie:
Volgorde:
Woordherkenning:
Engels gesproken cijfers
van “zero” tot “nine”
ste
1
deel:
interne tijdschalen + vertragingen:
geheugenwerking
Geheugenwerking
In reële toepassingen is relevante informatie verspreid
over de tijd:
Neuraal netwerk moet in staat zijn informatie enige tijd bij te
houden
Deze informatie moet kunnen interageren met nieuwe
Geheugenwerking
Interne tijdschalen:
Twee tijdsconstanten: m en s
Zorgen voor een intern
geheugen van het neuron
Synaptische vertraging:
Connecties hebben vaste
vertraging
Op elk ogenblik informatie van
verschillende momenten in het
verleden
Ook gebaseerd op biologie
Resultaten: Interne tijdschalen
Foutfractie in functie van m en s
Geen synaptische vertragingen
Resultaten: Interne tijdschalen
Woordherkenning
Weinig afhankelijk van m
Slechte prestatie als s = 0
Optimum m = s = 100 ms:
foutfractie gemiddeld 1,84 %
Komt overeen met relevante
tijdschaal in spraak
Resultaten: Interne tijdschalen
Volgordeclassificatie
Optimum m = s = 40 ms:
foutfractie gemiddeld 1,1 %
Werkt ook nog goed zonder
synapsmodel
Resultaten: vertragingen
Resultaten: vertragingen
• Vertragingen uniform gekozen tussen 0 en dmax
• Gemiddelde vertraging = optimale s uit vorige test
• Foutfractie in functie van m
• 3 neuronmodellen met vaste verhouding m en s :
• Halen we betere prestaties?
Resultaten: vertragingen
Woordherkenning
Foutfractie
Foutfractie
Volgorde
Heel wat beter
Een beetje beter
Conclusies:
• Zowel synapsmodellen als synaptische vertragingen
leveren meerwaarde aan temporele prestaties!
• Beste prestaties wanneer de tijdschalen van het
reservoir overeenkomen met de tijdschalen van de
taak.
de
2
deel:
Adaptatie en regeling van activiteit:
intrinsieke plasticiteit
Intrinsieke plasticiteit
Biologische neuronen regelen hun activiteit:
Bij te weinig invoer verhogen ze gevoeligheid zodat ze alsnog
pulsen sturen
Omgekeerd: bij te veel invoer verlagen ze hun gevoeligheid zodat
ze minder pulsen sturen
Deze eigenschap noemen we intrinsieke plasticiteit (IP)
In willekeurig geconstrueerd reservoir:
Bepaalde neuronen worden steeds gestimuleerd, andere steeds
geremd in activiteit
Zeer grote spreiding activiteit: sommige neuronen vuren helemaal
niet, andere veel te veel
Intrinsieke plasticiteit
Hoe implementeren we IP in LIF-neuronen?
Variabele vuurdrempel:
Vuurdrempel daalt lineair tussen uitgezonden pulsen
Bij uitzenden van puls wordt vuurdrempel verhoogd met vaste waarde
Intrinsieke plasticiteit
Hoe gaan we praktisch te werk?
Optimale opzet uit vorige resultaten
Eerst testfase: IP staat uit
Dan plastische fase
IP staat aan
Netwerk wordt gevoed met
volledige dataset
Vuurdrempels kunnen veranderen
Opnieuw testfase, enz. …
Proces wordt enkele malen herhaald
Intrinsieke plasticiteit:
resultaten
Intrinsieke plasticiteit:
resultaten
Intrinsieke plasticiteit:
resultaten
Conclusies
IP zorgt ervoor dat alle neuronen ongeveer
evenveel deelnemen in de taak
IP geeft verbetering van prestatie voor alle taken
Woordherkenning best na 1 adaptatiecyclus
(foutfractie: 1,85% 1,35%)
Toekomstig werk
In het kader van biologisch realisme
Meerdere tijdschalen per neuron
Nog realistischer neuronmodellen
Invoeren van biologisch realistische connectietopologie
Maximale prestatie voor minimale activiteit
Invoeren van andere plasticiteitsregels:
STDP
dynamische synapsen…
…
…
Bedankt voor de aandacht
Einde
… tenzij er nog vragen zijn…
