Waarom willen klanten steeds vaker weten hoe algoritmen tot een uitkomst komen? Wat zijn de gevolgen van machine learning en ai voor de relatie tussen ict-leverancier en klant? Wie is er verantwoordelijkheid voor ai? Computable vroeg het aan oud IBM Watson-strateeg Marc Teerlink die eind 2017 overstapte naar SAP en daar nu de ai-scepter zwaait.
Marc Teerlink stapte eind 2017 over van IBM naar SAP. Zijn rol van chief business strategist bij IBM’s Watson-groep veranderde in die van global vice president SAP Leonardo. Op die plek is hij verantwoordelijk voor de inzet van ai en machine learning bij klanten van SAP. Computable sprak Teerlink tijdens Connect to Innovate, het gecombineerde leveranciers- en eindgebruikers event van SAP en VNSG in Nieuwegein waar Teerlink sprak over een nieuwe externe ethische raad die toeziet op de ai-ontwikkelingen binnen SAP.
Was er bij IBM ook veel aandacht voor de ethiek rondom de inzet van ai-toepassingen?
‘Grote partijen in de industrie- bij IBM en SAP weet ik dat uit eigen ervaring- vonden altijd al dat machine learning en ai het principe van transparantie in zich moeten hebben. De vraag hoe het systeem tot een antwoord komt is cruciaal. Ik vergelijk dat met het middelbaar onderwijs waarin het geven van het juiste antwoord ook niet meer voldoende is, maar steeds vaker aan leerlingen wordt gevraagd hoe ze tot dat antwoord zijn gekomen.
Het lastige is dat je dat principe in de systemen kan inbakken, maar het waren in de periode 2014-2016 toch vooral technische scripts nodig om te achterhalen hoe het systeem tot zijn uitkomst kwam. Je had techneuten nodig die dat met technische interactie-scripts boven water haalden. Vanaf 2016 en 2017 zie je dat partijen als de machine learning-groep van SAP, IBM Watson, maar ook startups meer bezig zijn om te visualiseren hoe de machine tot een antwoord komt.
De uitdaging is om dat tot een product te maken. Bedrijven die ai-oplossingen maken redeneerden aanvankelijk: klanten betalen er niet voor en er is nog geen vraag in de markt. Het was dus wachten op het moment dat zowel de tooling en de evangelisatie er waren om meer aandacht te vestigen op die transparantie.’
Welke maatschappelijke gebeurtenissen spelen daarin een rol?
‘Europa is leidend geweest in het denken daaraan. In 2016 zijn richtlijnen doorgevoerd waarin staat dat leveranciers moeten melden hoe algoritmen tot hun conclusie komen. Daar komt bij dat blunders van grote partijen, data braches, misbruik en dat soort zaken hebben er zeker aan bijgedragen dat de aandacht voor transparantie en ethiek rondom ai is versterkt. (Teerlink doelt onder andere op de zaak Cambrige Analytica red.)
Facebook is daar een voorbeeld van waarbij duidelijk wordt dat het bij dataverwerking niet alleen om cybersecurity draait, maar dat eigenaarschap belangrijk wordt en data echt als een asset wordt behandeld. Het gaat naast vragen als, hoe bescherm ik het?, het gaat om beleid, eigenaarschap, zorgen dat het niet per ongeluk gebruikt kan worden en dat je als organisatie nadenkt over de aanpak van oneigenlijk gebruik van die gegevens.’
Welke klanten vragen het vaakst hoe ai tot een conclusie is gekomen?
‘Bij SAP zien we dat zeker bij klanten die actief zijn aan de exacte kant. Bijvoorbeeld bij belastingberekeningen en financiële boekhouding. Partijen binnen die belasting- en accountancy-wereld moeten ook uitleggen hoe hun systemen tot bepaalde conclusies komen.
Een voorbeeld: vijf tot zes jaar geleden namen auditers een sample van de data, ongeveer tien procent, en voerden daarop hun controle uit. Door strengere regelgeving moeten zij nu alle data volledig doorspitten. Daarbij is het steeds belangrijker om te weten hoe ze tot een bepaalde conclusie zijn gekomen. Bijvoorbeeld hoe ze tot een bepaalde transferprijs zijn gekomen. Hoe is de kostenverdeling per product per land tot stand gekomen? Die beslissingen hebben namelijk vergaande implicaties en het leidt tot nieuwe discussie waarbij ook de auditor wordt betrokken.
Daarnaast is door zowel de positieve als negatieve verhalen over ai een maatschappelijke discussie over het onderwerp gaande. Naast de voordelen die ai kan hebben is daarbij veel aandacht voor angstscenario’s over algoritmen. Bovendien is iedereen zich er meer van bewust van de enorme hoeveelheden data die worden verwerkt en wat de gevolgen zijn als daar manipulatie plaatsvindt hoe zich dat dan kan verspreiden, zoals bij de verkiezingen in de VS.
Dus zowel zakelijk als maatschappelijk is er veel veranderd. SAP heeft die tijd gebruikt om het hebben van technische tooling te verplaatsen naar een organisatie die de aandacht voor transparantie, visualisatie van ai en ethiek binnen de hele organisatie heeft opgenomen. Bijvoorbeeld in hoe design=thinking wordt toegepast, maar ook binnen de manier waarop ai-toepassingen worden verkocht en hoe onze mensen dat verwezen in hun dagelijks functioneren. Dus niet alleen in de technologie, maar ook in de methodologie en communicatie naar klanten.’
Hoe verandert daardoor de rol tussen leverancier en klant?
‘Je kan wel tegen klanten zeggen: ik heb een mooie tool waarmee je kunt aantonen welke data blootgesteld is aan risico’s en hoe bepaalde ai-uitkomsten berekend zijn. Maar, je moet die klanten ook helpen wat ze vervolgens daarmee moeten doen? Welke rollen zijn er nodig om die organisatie te besturen?
De meeste SAP-klanten produceren dingen en iedereen maakt zich zorgen om de fabriek en het onderhoud en het vervangen van onderdelen. Maar op het moment dat je vraagt: wie is er afhankelijk van data, wie is er verantwoordelijk voor de zuiverheid van algoritmen, wie kijkt erop toe wie het algoritme getraind heeft en of dat nog steeds werkt? Is er iemand op bedrijfsniveau verantwoordelijk?
Nu ligt dat mandaat nog vaak bij meerdere personen. Maar, het is belangrijk dat één iemand verantwoordelijk is. Diegene moet toegang hebben tot de directie en uitvoering kunnen geven aan procedures binnen het bedrijf. En zorgen dat het algoritme een positieve waarde heeft voor de inzet van data.
Het begint ermee dat bedrijven zich realiseren dat data een bedrijfsmiddel is dat waarde heeft. En dat een algoritme een positieve of een negatieve invloed op die data heeft.’
Waar ligt in de meeste organisaties nu de ethische verantwoordelijkheid voor de inzet van ai?
‘Dat hangt af van de focus van het bedrijf. Hoe meer van wat een bedrijf doet ongewenste gevolgen kan hebben. Hoe meer die ethiek automatisch al bij senior management terecht komt.
Is er minder sprake van die gevolgen dan komt de verantwoordelijkheid vaak bij juridische afdelingen terecht. Veel organisaties zijn nog steeds lijstjes aan het afvinken en hebben die verantwoordelijkheid nog steeds zoals tien jaar geleden gebruikelijk was georganiseerd. Bedrijven die vooropgaan in ai en ethiek hebben een raad die de bedrijfsleiding adviseert en met ze in gesprek gaat over bijvoorbeeld de gevolgen van bepaalde dataverwerking en ai voor privacy.’
