Om neurale netwerken context te laten begrijpen, moeten de elektronische circuits vanalles onthouden en direct terug kunnen koppelen, iets dat vooral bij het begrijpen van tekst belangrijk is. Zo'n netwerk heet ook wel een recurring neural network. Met de onstuitbare opmars van kunstmatige intelligentie, gaat iedereen te maken krijgen met het toepassen van dit soort netwerken binnen zijn systemen.
Het grote probleem met deze recurring of ‘zichzelf herhalende’ netwerken, is dat ze op dit moment nog erg complex en duur zijn en vaak gebruikmaken van optische componenten. Een onderzoeksgroep van de University of Michigan heeft dit systeem weten te ondervangen met memristors, een combinatie van opslaggeheugen en een weerstand. Het eerste type geheugenelement wat aan deze eisen voldoet, ontwikkelde HP zo’n tien jaar geleden, al bestond het idee sinds 1971.
Tijdrovende klus
Het trainen van een neuraal netwerk is vaak een tijdrovende klus en is vooral praktisch voor zaken die niet echt veranderen. Denk aan beeld: het herkennen van een gezicht is een vrij simpele taak, maar het begrijpen of vertalen van taal is veel lastiger omdat de context begrepen moet worden. Denk maar aan het woord ’ton’ dat in combinatie met ‘wijn’ vaak over een fysiek object zal gaan, maar ook best een bedrag kan betekenen en dan hebben we het nog niet over context in manier van uitspraak van woorden, zoals iemand die iets boos uitspreekt.
Voor die context is een neuraal netwerk nodig dat loops in zich heeft zodat er een kortetermijngeheugen is. Daar komen de memristors van de onderzoekers uit Michigan om te hoek voor een reservoir computing system. Dit systeem heeft volgens de onderzoekers veel minder dure training nodig en zou de capaciteit hebben om voldoende te onthouden. Dat laatste komt doordat het reservoir geen training nodig heeft.
Het reservoir bevat datasets en die krijgen in het reservoir in realtime een bepaalde mate van belangrijkheid mee: hoe belangrijker een element is met betrekking tot de tijd, hoe hoger op de lijst. Die data worden door het systeem in een simpeler formaat aan een tweede, meer standaard neuraal netwerk doorgegeven.
Beloftes zijn groot
Een van de tests die het team deed, was handschriftherkenning aan de hand van cijfers. De cijfers werden opgedeeld in pixelrijen waarbij elke pixelrij een soort van morsecode vormde om een binair systeem toe te kunnen passen: een spanning van nul volt voor een donkere pixel en iets meer dan een volt voor een witte pixel. Het team wist vervolgens met 88 memristor-nodes 91 procent van de geschreven cijfers te herkennen. Voor een normaal neuraal netwerk zouden 90 keer meer nodes nodig geweest zijn.
Maar dat is niet het enige: Hoofdonderzoeker Wei Lu hoopt het systeem in te kunnen gaan zetten voor voorspellende analyses en spraakherkenning. Bij natuurlijke spraak zou het systeem ook kunnen voorspellen welk woord gezegd wordt, zonder het woord af te hoeven maken. De voorspellende analyses zouden signalen kunnen voorspellen van slecht ontvangen radio-overdracht en dergelijke.
Het werken met memristors en onderzoek aan ‘zelflerende’ systemen is een sterk groeiende tak van sport binnen de informatica. Intel introduceerde september vorig jaar bijvoorbeeld ook een zogenaamde ‘neuromorfische’ chip ‘Lohi’. De chip zou ook leren op basis van feedback van zijn omgeving, al maakte Intel geen technische details bekend. Intel maakt deze week op de CES in Las Vegas meer bekend over de Loihi-chip.
De memristor wordt ook wel gezien als de elektronische versie van de synaps in ons brein, ook omdat een memristor meer analoog functioneert dan een normale, binaire computerchip. Het team uit Michigan gebruikt duidelijk de blauwdruk die onderzoekers van de Bielefeld University in Duitsland in 2013 presenteerden en waarbij de gedachte is dat ze veel zuiniger met energie omspringen dan circuits van transistors die niet passief zijn en constant energie nodig hebben.
De beloftes van memristors zijn groot, al zijn ze nog niet buiten onderzoekslaboratoria te vinden. Maar het kan ineens snel gaan.
