De huidige manier van aanbieden van datadiensten met datalakes leidt tot sterk gespecialiseerde silo-teams van data-engineers en businessanalisten. Gevolg is complexiteit, beperkte flexibiliteit en lange time-to-market van dataproducten. Dit voorkom je door decentrale devops-teams business-gedreven functionaliteit te laten ontwikkelen boven op centrale datadiensten. Data-mesh zorgt dat je maximaal gebruikmaakt van de flexibiliteit van devops-teams en domain driven data design boven op een betrouwbare data-infrastructuur. Welk concreet probleem data-mesh oplost leg ik hieronder uit.
Gebruikers verwachten dat de data continu beschikbaar en actueel is en voldoet aan de eisen van security en gegevensbescherming. Gebruikelijk slaan we onze bedrijfsdata op in een datawarehouse voor een gestructureerde analyse en rapportage. De omvang en complexiteit van de data maakt dat de grenzen van deze oplossing bereikt zijn. Een datawarehouse is een eenvoudige bevraging op vooraf gestructureerde data. Binnenkomende data worden voorbewerkt in deze structuur en bij grotere hoeveelheden data met een complexe structuur kost dat veel meer verwerkingscapaciteit. Bij de verhuizing naar de cloud verschuift het probleem naar de kostenkant door een hoge consumptie van rekenkracht.
Een datawarehouse is geschikt om vanuit een specifiek businessdomein vragen te beantwoorden. De wens om data over domeinen heen te combineren, zorgt voor een grotere hoeveelheid en complexiteit van data. Een datalake-platform is het antwoord hierop. Met een dergelijk platform ontstaan er echter drie silo’s, te weten bronteams (bieden operationele data aan), dataplatformteams (voor verwerking) en domein-gedreven businessteams (die de data gebruiken). Doorvoeren van een wijziging in een dergelijke structuur is ingewikkeld en vergt veel afstemming.
Nieuwe benadering
Een nieuwe benadering werkt met platformteams en business-devops-teams. Platformteams leveren het dataplatform. De business-devops-teams bestaan uit experts van de operationele systemen, data engineers en businessanalisten. Zij bouwen domein-specifieke dataproducten. Hiermee kan je snel en flexibel inspelen op de veranderingen in de operationele systemen en de vragen van de business. Een agile business-gedreven werkwijze is essentieel voor het succes van deze aanpak. Deze mix is ook wel bekend onder de term data-mesh. Ik wens u veel waarde uit uw data.
Auteur: Robbrecht van Amerongen, head of internet of things en api-integratie Conclusion
