Traditionele it kan niet omgaan met piekbelasting ai

De bestaande it-infrastructuur is vaak niet optimaal ingericht om artificiële intelligence (ai)-workloads schaalbaar en met de juiste snelheid te faciliteren. Het inrichten van zo'n ai-infrastructuur vereist andere competenties dan die binnen de traditionele it nodig zijn, bijvoorbeeld om de piekbelasting goed in te kunnen inschatten. Het Amerikaanse chip- en softwarebedrijf Nvidia werkt met het Nederlandse adviesbureau MDCS.AI samen om bruikbare ai-modellen te ontwikkelen.

De it-wereld kent een rijke historie van technologische ontwikkelingen, die voordat ze echt tot wasdom komen, al leiden tot nieuwe visies en geheel nieuwe toepassingen. Dankzij ChatGPT maakt een breed publiek kennis met de functionaliteit van generatieve ai. Gelijktijdig is de professionele it-sector in rep en roer. Hoe kunnen we met de bestaande it-infrastructuur voldoen aan die gigantisch toegenomen vraag naar computerkracht? Als we dat al kunnen, tegen welke kosten?

En dan resteert nog de vraag of onze it-afdelingen beschikken over de juiste expertise voor het runnen van de ai-fabrieken? Nvidia, leverancier van chipsets voor grafische dataverwerking en inmiddels ook toonaangevend op het vlak van kunstmatige intelligentie, en de in Gouda gevestigde ai-dienstverlener MDCS.AI, bundelen hun krachten in de opmaat naar toonaangevende ai-projecten, zoals volwaardig Nederlandse varianten van de populaire Large Language Models (LLM’s).   .

De combinatie ziet kansen om de gevestigde orde binnen het Nederlandse it-landschap op te schudden. Weliswaar scoort Nederland hoog als het gaat om het aantal datacenters en de daarbij behorende infrastructuur van servers en netwerkverbindingen, voor grootschalige ai-toepassingen is de capaciteit niet toegerust en functioneren de gangbare cpu’s van de servers niet optimaal bij de nieuwe werklast. Ook beschikken de aanwezige systeembeheerders niet over de juiste kennis en vaardigheid om bijvoorbeeld de piekbelasting goed te kunnen inschatten.

Voldoende business cases?

De vraag is of er voldoende ’business-cases’ in ons land zijn die de forse investering in het ai-rijp maken van de it-infrastructuur in ons land rechtvaardigen. Carlo Ruiz, senior director AI Data Solutions & Operations bij Nvidia, denkt van wel. ‘Ik zie grote kansen bij het efficiënter en flexibeler inzetten van robots in de industrie en bij de medicijnontwikkeling door de farmaceutische industrie. Er zijn miljarden gemoeid met jarenlang klinisch onderzoek. De taalmodellen van generatieve ai dragen bij aan het verkorten van de ontwikkeltijd en zo kunnen we effectief de uitdagingen in de gezondheidszorg aanpakken.’

Hij stelt ook vast dat in het opzetten van ai-fabrieken Nederland niet voorop loopt. Daar wil Nvidia middels de samenwerking met MDCS.AI versnelling in aan brengen. ‘In ons portfolio zitten naast de benodigde hardware en software ook recepten om voor bepaalde domeinen ai-modellen te ontwikkelen en kosteneffectief applicaties uit te voeren. Vanwege de dichtheid van elektronische schakelingen op de gangbare traditionele cpu’s in de datacenters is het kilowatt per uur stroomverbruik flink toegenomen. Onze ai-gerichte gpu’s verwerken de ’workload’ niet alleen veel sneller, maar ook met een factor vijf minder elektriciteit-afname.’ 

Ai-trajecten kan je alleen samen afleggen

Volgens Raymond Drielinger, algemeen directeur bij MDCS.AI, hebben veel organisaties bij de implementatie van schaalbare ai-oplossingen uitdagingen met de onderliggende infrastructuur. ‘Het initiatief om ai-oplossingen toe te passen komt vaak vanuit de business. Daar zijn hoge verwachtingen gewekt met de komst van ChatGPT. De bestaande it-infrastructuur is vaak niet optimaal ingericht om ai-workloads schaalbaar en met de juiste snelheid te faciliteren. Het inrichten van een ai-infrastructuur vereist andere competenties dan die binnen de traditionele it.’

Bedrijven hebben volgens hem dus geen centrale landingsplaats voor ai-workloads, die bovendien niet allemaal geschikt zijn voor de cloud. Er zijn eilanden ontstaan van afdelingen die zelfstandig met ai aan de slag gaan met eigen hardware, software en datawetenschappers. Drielinger is van mening dat het beter is om binnen een organisatie een centrale ai-infrastructuur op te bouwen die schaalbaar is en waarbinnen men uiteenlopende ai-diensten kan laten landen. ‘Wanneer de business, ai-specialisten en it’ers daarin samenwerken, ontstaat er veel meer begrip voor elkaars processen en componenten. Eigenlijk geldt voor alle ai-trajecten dat je ze nooit alleen kan afleggen, maar altijd samen met anderen.’

Hij prijst zich gelukkig met het portfolio wat Nvidia te bieden heeft op gebied van ai. ‘Ze leveren veel meer dan alleen maar snelle processoren. Je moet ook denken aan software, software development-kits en applicaties. Daarnaast werken we ook samen met andere partijen die aanvullende diensten aanbieden op het vlak van de orkestratie van ai-workloads; het ontwikkelen en optimaliseren van ai-software en de organisatie van data.’

Businesscase laat zich afpellen als ui

‘Vooral het produceren van dataproducten, waarmee bedrijven hun portfolio sneller willen verbreden, heeft baat bij een op ai toegespitst computerplatform’, aldus Niels van Rees, commercieel directeur bij MDCS.AI. Hij vervolgt: ‘het maken van de ’business-case’ daarvoor is echter niet zo simpel. Aan de ene kant van het spectrum heb je de specifieke hardwarevoorzieningen met een te verwachten werkbelasting, alsmede energieverbruik, en aan de andere kant de condities om te innoveren.’

Als onderdeel van het ecosysteem denkt MDCS.AI aan zo’n afweging een bijdrage te kunnen leveren. Het adviesbureau uit Gouda kan verschillende scenario’s van de ’business-case’ simuleren. ‘Er wordt soms veel geroepen, maar als de te verwachten ’workload’ een infrastructurele voorziening van driehonderd miljoen euro’s vereist, dan weet je dat het feest niet doorgaat’, stelt Van Rees.

‘Soms zijn de kosten voor de ai-stack aanzienlijk te verlagen met een bijstelling van de responsetijd-eisen, bijvoorbeeld van een halve milliseconde naar drie milliseconden. Operationeel heeft dat nauwelijks consequenties. De ’business-case’ voor een ai-project moet je afpellen als een ui met als eerste vraag wat het gaat opleveren. Maar je gaat naar iets nieuws en zal dus ook andere competenties moeten aanboren die de uitkomsten van het model naar de business begeleiden.’

Hij benadrukt dat het niet alleen om de techniek gaat, maar tevens om de ’mapping’ naar de organisatie met veranderingstrajecten en nieuwe ’user interfaces’ over de gehele stack. ‘Zie je zaken over het hoofd, dan sterft het project een zachte dood.’

Meer dan een hardwarebedrijf

Nvidia lijkt een hardwarebedrijf, geworteld in de halfgeleidertechnologie. Volgens Ruiz zijn ze echter voor 90 procent een softwarebedrijf. ‘Ons ai-platform omvat basis-services en ‘tooling’ voor het opzetten, inrichten en testen van nieuwe modellen. Daarnaast leveren we ook een brede reeks applicatie-workflows voor uiteenlopende domeinen, zoals beeldverwerking in de medische wereld; zelfrijdende voertuigen en gerobotiseerde productieautomatisering.’

Die modellen heeft Nvidia zelf getraind en stelt het bedrijf ter beschikking aan onze klanten. Deze recepten laten zich direct inzetten als basis voor bijvoorbeeld een volwaardige Nederlandse-variant van ChatGPT, beweert Ruiz. ‘De blauwdrukken van honderden applicaties kunnen voor een fractie van de operationele kosten van een supercomputer draaien op onze gpu’s, die we als voor-geconfigureerde, dus direct inzetbare DGX-appliance on-premise kunnen installeren binnen een bestaand it-landschap. Als DGX-cloud leveren we deze ook aan de ‘hyperscalers’, waardoor organisaties hun ai-services als publiek-clouddienst van Google, Oracle of Microsoft kunnen afnemen. Zij moeten zich dan wel realiseren dat ai-projecten zich kenmerken door piekbelasting. De cloudprovider zal de daarvoor gereserveerde capaciteit in rekening brengen.’