Dit is waarom ai niet veilig is

BLOG – Het zakelijk gebruik van artificial intelligence (ai) wint aan populariteit. Bedrijven gebruiken ai bijvoorbeeld voor interactie met klanten of baseren beslissingen op ai-systemen. Slim? Niet volgens het Amerikaanse National Institute for Standards and Technology (NIST). Dat waarschuwt voor ‘adversarial ai’.

Het NIST windt er geen doekjes om. Aanvallers kunnen ai-systemen eenvoudig misleiden of zelfs ‘vergiftigen’. ‘En er bestaat nog geen waterdichte methode om ai hiertegen te beschermen’, stelt het NIST. Volgens het instituut moeten ai-ontwikkelaars en -gebruikers op hun hoede zijn voor wie iets anders beweert.

Vier typen aanvallen

In de publicatie ‘Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations’ schetsen computerwetenschappers vier typen aanvallen op ai-systemen.

• Evasion attacks

Evasion attacks vinden plaats nadat een ai-systeem is uitgerold en operationeel is. Bij een ‘ontwijkingsaanval’ proberen aanvallers de input naar het systeem zodanig te wijzigen dat het ai-systeem wordt misleid en een verkeerde uitvoer produceert. Een klassiek voorbeeld is het manipuleren van visuele herkenningssystemen. Bij een onderzoek werden kleine stickers op stopborden geplakt. Deze stickers maakten dat zelfrijdende auto’s een verkeersbord niet meer zagen als een stopbord maar als een bord met een snelheidsbeperking. Mensen merkten bijna niks van deze stickers, maar de auto’s werden hierdoor wel verkeerd aangestuurd.

• Abuse attacks

Abuse attacks richten zich op het misbruiken van de functionaliteiten van een ai-systeem door het invoeren van misleidende informatie uit legitieme maar gecompromitteerde bronnen. Dit kan leiden tot het onbedoeld verspreiden van onjuiste of schadelijke informatie. Een bekend voorbeeld is het manipuleren van YouTube’s aanbevelingssysteem. Door het systeem te ‘voeden’ met strategisch ontworpen content en engagement zoals views, likes en reacties, konden bepaalde actoren het algoritme manipuleren om dergelijke content vaker en aan meer gebruikers voor te stellen. Dit leidde tot een versterking van bepaalde ideologieën of desinformatie.

• Privacy attacks

Met privacy attacks proberen aanvallers persoonlijke informatie uit ai-systemen te halen, of data te verzamelen waarop het ai-systeem is getraind. Dit is gevaarlijk omdat het niet alleen de vertrouwelijkheid van informatie in gevaar brengt, maar ook kan laten zien hoe de ai werkt. Daardoor zijn andere aanvallen weer makkelijker op te zetten. Een privacy attack kan bijvoorbeeld gericht zijn tegen ai-systemen voor gezichtsherkenning. Met toegang tot data en voldoende kennis van het model is het mogelijk om gezichten te reconstrueren die zijn gebruikt voor de training van het model. Deze reconstructies kunnen genoeg informatie bevatten om de privacy van de personen in kwestie te schenden. Zo kunnen ze iets zeggen over de gezondheidssituatie van een persoon, of over de aanwezigheid op een bepaalde locatie.

• Poisoning attacks

Poisoning attacks vinden plaats tijdens de training van een ai-systeem, waarbij de aanvallers opzettelijk verkeerde data in de trainingset invoegen. Dit kan ertoe leiden dat het systeem onjuiste patronen aanleert en verkeerde beslissingen neemt. Een klassiek voorbeeld van een dergelijke aanval is gericht op ai-systemen voor spamfiltering. Spammers kunnen opzettelijk e-mails opstellen die kenmerken bevatten van legitieme e-mails maar toch spam zijn. Door deze e-mails in grote hoeveelheden te verzenden, hopen ze dat sommige van deze e-mails als legitiem worden gemarkeerd en daardoor in de trainingsdata van het spamfilter terechtkomen. Bedrijven kunnen hierop anticiperen door spamfilters niet te trainen met inkomende e-mails, maar juist met uitgaande e-mails die door de eigen medewerkers zijn opgesteld. Dit plaatst de training van het ai-systeem binnen een gecontroleerde context, waarbij de inhoud door de medewerkers zelf wordt gecreëerd.

Mitigerende maatregelen

Hoewel er volgens het NIST dus geen ‘silver bullet’ is tegen de risico’s van adversarial ai, zijn er wel mitigerende maatregelen die we kunnen treffen. Effectieve verdediging begint met een grondige monitoring van het netwerkverkeer en de endpoints. Ongebruikelijk gedrag dat op een aanval kan duiden, wordt hiermee snel geïdentificeerd. Daarnaast is het cruciaal om systemen en data te beschermen met geavanceerde encryptie, waardoor de kans op misbruik door ongeautoriseerde partijen wordt verminderd. Tot slot speelt continue educatie over de nieuwste cyberdreigingen en verdedigingstechnieken een sleutelrol in het voorbereiden van organisaties op de uitdagingen van morgen.