De 3 B’s van de ai-wereld

BLOG – Het vergroten van de impact van ai is een doel voor organisaties in vrijwel alle sectoren. Maar terwijl ChatGPT een startsein gaf voor een wedloop om ai, is het steeds minder een kwestie van ‘gewoon doen’. De strategische focus verschuift naar de 3 B’s: betrouwbaarheid, betaalbaarheid en beheersbaarheid van modellen. En deze doelen zijn goed na te streven, ondanks verhalen over miljardeninvesteringen, ai-hallucinaties en compliance-risico’s.

Dé grote uitdaging is hoe je ai-technologie in de hele onderneming kan inzetten in de context van branchespecifieke uitdagingen, prioriteiten, datatypes, toepassingen, ecosysteempartners en governancevereisten. Het startpunt is natuurlijk toegang tot alle relevante data. Maar hoe houd je ai beheersbaar en hoe blijft het accurate antwoorden geven op vraagstukken? En hoe voorkom je dat de inzet van ai onbedoeld leidt tot datalekken?

Fouten

Taalmodellen kunnen verbazingwekkend accurate teksten genereren als reactie op gebruikersvragen. Toch kunnen ze ook bijzonder goed fouten maken. Een specifieke uitdaging van taalmodellen is de neiging om te antwoorden met achterhaalde of zelfs geheel incorrecte informatie.

‘Retrieval-augmented generering’ (rag) in deze modellen biedt een oplossing voor dergelijke problemen. Een regulier taalmodel, zoals GPT-4, genereert antwoorden op basis van de patronen en relaties die het heeft geleerd tijdens de trainingsfase. Dat betekent dat het taalmodel antwoorden produceert, zonder tijdens het genereringsproces nieuwe informatie op te zoeken of te integreren.

De combinatie van data en governance is niet te onderschatten

Rag-systemen zoeken daarentegen actief informatie op uit een grote databank van documenten of teksten. Wanneer een rag-systeem een vraag krijgt, zoekt het eerst naar relevante informatie die past bij de vraag en context. De gevonden informatie wordt vervolgens gebruikt om de uiteindelijke output te genereren. Dit stelt rag in staat om antwoorden te geven die accurater en meer up-to-date zijn dan mogelijk is met alleen de vooraf geleerde kennis van een taalmodel. Bovendien maakt deze aanpak het mogelijk voor het model om met behulp van bronvermelding een bewijs te leveren voor de kwaliteit van antwoorden.

Onderschatten

Volgens onderzoek van MIT prioriteert zestig procent van de cio’s een enkel geïntegreerd governancemodel voor data en ai. Dit impliceert dat veel organisaties nog worstelen met een gefragmenteerde data-architectuur. De combinatie van data en governance is niet te onderschatten. Je wil bijvoorbeeld voorkomen dat ai wordt getraind op zeer gevoelige informatie en deze vervolgens gevoelige informatie deelt met de verkeerde medewerkers of zelfs de wereld in helpt via een chatbot. Dat is over het algemeen moeilijk te voorkomen omdat taalmodellen in wezen slechts het meest waarschijnlijke volgende woord in een zin genereren op basis van wat ze hebben gezien in hun trainingsgegevens, dus kunnen ze geen onderscheid maken tussen wat gevoelig is en wat niet.

Door toegangscontroles te implementeren voor je databases en, in het geval dat je je eigen taalmodel ontwikkelt, zorgvuldig te controleren welke trainingsdata er wordt gebruikt, kun je wel stappen nemen om dit te voorkomen. Dit soort technieken zijn in combinatie met rag te gebruiken, zodat taalmodellen geen gevoelige gegevens aan gebruikers verstrekken die daar geen recht op hebben.

Recordtempo

Ai is in recordtempo uitgegroeid tot een miljardenindustrie – maar dat betekent niet dat deze investeringen nodig zijn voor iedere organisatie. Zo is het voor organisaties dankzij open modellen als Databricks’ Dolly en Meta’s Llama 2 mogelijk om tegen lage kosten een eigen taalmodel te ontwikkelen, met soortgelijke functionaliteiten als de veel duurdere GPT-modellen.

Mocht het om wat voor reden dan ook niet mogelijk zijn een eigen model te trainen, dan is ook rag in te zetten – dan kun je bijvoorbeeld een bestaande dienst afnemen van een derde partij, waarnaast je je eigen rag-techniek inzet om een extra controle-laag in te bouwen. Hierdoor maak je gebruik van de kracht van een generiek taalmodel, zonder in te boeten op de kwaliteit en toepasbaarheid van de uitkomsten.

Ai-implementatie verlegt zich van snelheid naar strategie: betrouwbaarheid, betaalbaarheid, en beheersbaarheid staan nu centraal. Dankzij open modellen en toegankelijke diensten is innovatieve ai-implementatie nu binnen handbereik voor elke organisatie, waarbij technieken zoals rag de betrouwbaarheid voor bedrijfsspecifieke use-cases versterken. De toegevoegde waarde van ai binnen een organisatie staat of valt echter met de kwaliteit van governance. Een geïntegreerd data en governance-platform is het absolute fundament voor iedere organisatie die de kracht van ai beschikbaar wil maken binnen de gehele organisatie.