Alle bedrijven zouden datagedreven moeten zijn. Waarom? Omdat data de brandstof voor organisaties is geworden waarmee ze betere en snellere beslissingen kunnen nemen, snel op klanten kunnen reageren en nieuwe kansen (of bedreigingen) zien voordat de concurrentie dat doet. Het is echter niet eenvoudig om een datagedreven organisatie te worden. En dat is waar data engineers om de hoek komen kijken.
Uit een recent Gartner-rapport blijkt dat bijna de helft van de organisaties ‘ondanks enorme investeringen in data- en analyse-initiatieven problemen heeft om deze initiatieven in productie te brengen’. Data engineers kunnen daarin ondersteunen, aangezien het hun rol is om de organisatie te helpen data optimaal in te zetten om bedrijfsdoelstellingen te behalen. Uit recent onderzoek onder Fortune 1000-beslissers blijkt deze rol van cruciaal belang, omdat gevestigde bedrijven concurrentie ondervinden van op technologie gebaseerde nieuwkomers. 80 procent van de big data-verantwoordelijken binnen de directie erkent de potentiële bedreiging van verstoring en vervanging door technologie, maar slechts 7,3 procent heeft er vertrouwen in goed voorbereid te zijn op de toekomst.
Data engineers kunnen bedrijven voorbereiden op de toekomst door met behulp van technologische innovaties potentiële dreigingen het hoofd te bieden. Ze kunnen digitale transformatieprojecten automatiseren, waardoor bedrijven meer datagestuurde projecten in gang kunnen zetten. En ze kunnen voeding geven aan de behoefte van het C-level om disruptieve technologieën zoals artificiële intelligentie en machine learning in te zetten.
Dankzij hun uitzonderlijke vaardigheden, is er een enorme behoefte ontstaan aan data engineers. Dit heft erin geresulteerd dat er veel meer vacatures voor data engineers zijn dan er aanbod is. Sterker nog, in oktober werden in Nederland 3726 vacatures voor data engineers op Indeed geplaatst, tegenover slechts 1072 vacatures voor data scientists.
Barrières
Doordat hun vakgebied relatief jong is, staan data engineers elke dag voor unieke uitdagingen. Zo zijn niet alle rollen duidelijk gedefinieerd en krijgen ze vaak complexere taken dan nodig, die soms geschikter zijn voor data scientists. Om nog maar te zwijgen over de (hulp)middelen die vaak ontbreken voor de dagelijkse werkzaamheden.
Om de complexiteit van de situatie te begrijpen, is het belangrijk onderscheid te maken tussen de rol van data engineers en de dagelijkse uitdagingen waarmee ze worden geconfronteerd. Data engineers werken met het bedrijf samen en vertalen de behoefte binnen het bedrijf aan datagestuurde inzichten naar technische- en datavereisten. De omvang en intensiteit van dataprojecten zijn de afgelopen jaren echter toegenomen en iedere dag verschijnen er nieuwe databronnen. Bovendien zijn data tegenwoordig meer verspreid dan voorheen – on premise, op mobiele apparaten en in multi-cloudomgevingen. Dus de data engineer is deels ontwikkelaar, deels data scientist en deels data-analist; hij speelt daarmee een cruciale rol om organisaties in staat te stellen sneller en op grote schaal waarde uit hun data te halen.
Maar ook data-integriteit moet niet worden vergeten. Nauwkeurige en schone data zijn niet alleen essentieel voor de besluitvorming en voor de naleving van de compliance-regelgeving, maar ook voor tevreden klanten en voor het maximaliseren van kansen. Volgens de Harvard Business Review bevat 47 procent van de datasets fouten die van invloed zijn op het werk. Nu data in toenemende mate worden gebruikt, is het van steeds groter belang dat ze geen onnauwkeurigheden of inconsistenties bevatten en dat er geen sprake is van menselijke fouten. Het moeten schone gegevens zijn die betrouwbare inzichten bieden. Gelukkig zijn data engineers beheerders van de end-to-end datastrategie en helpen ze data scientists en data-analisten data lineage vast te leggen, datamodellen en datasets te operationaliseren en betrouwbare data te leveren binnen het hele bedrijf.
Data engineers moeten niet worden beperkt in hun bewegingsvrijheid: ze moeten gebruik kunnen maken van de nieuwe technologieën en taken die regelmatig worden geïntroduceerd. Bovendien moeten ze zorgen dat alle projecten voldoen aan voldoen aan GDPR en de CCPA (California Consumer Privacy Act).
Om op het goede spoor te blijven, moeten data engineers zich richten op de algehele datastrategie van het bedrijf, en in het kader daarvan ondersteuning bieden bij prestatie- en analyseprojecten, data autoriseren voor verschillende doelgroepen en zorgen voor naleving van de regelgeving. Kortom, data engineers zijn ervoor verantwoordelijk dat bij iedere opdracht de juiste data gebruikt worden, met de integriteit en snelheid die het bedrijf verwacht.
Uitkomst bieden
Het is van belang dat data engineers het bedrijf begrijpen en hun inspanningen richten op een gezamenlijk doel. Als aan die voorwaarden voldaan is, kunnen de teams de data inzetten voor snellere en beter onderbouwde zakelijke beslissingen. Gelukkig zijn er nieuwe tools en processen om de druk op de data engineer te verminderen, zoals oplossingen om data te verzamelen, te beheren, te transformeren en te delen, zodat er meer tijd kan worden besteed aan het analyseren van data dan aan het integreren en beheren ervan. Automatisering is een belangrijke technologie voor data engineers omdat het processen vereenvoudigt en daarmee data beter beheersbaar maakt, zodat ze kunnen worden gebruikt voor machine learning, analyse, het data delivering process en nog veel meer.
Om betrouwbare data te leveren met de snelheid en schaalbaarheid die bedrijven eisen, maken data engineers ook gebruik van moderne oplossingen voor data-integratie en -integriteit. Dit helpt bij het automatiseren van het creëren van data pipelines, het verminderen van de complexiteit van de integratie, het gemakkelijker voldoen aan beveiligings- en privacyvereisten en het gemakkelijk aanpassen aan technische en zakelijke veranderingen (verhoogde flexibiliteit).
Data engineers zijn waardevolle medewerkers geworden, die aan de hand van data bijdragen aan het behalen van de bedrijfsdoelstellingen, die uiteindelijk weer van strategisch belang zijn voor de hele organisatie. Met de juiste inzichten in de behoeften van de organisatie en met de bijbehorende data formats kunnen data engineers een organisatie laten uitgroeien tot een bloeiend datagedreven bedrijf. Als gevolg hiervan kan de organisatie concurrerend en innovatief blijven, waardoor de C-suite zich daar geen zorgen over hoeft te maken.
Jaap-Jan Pepping, regional business director Talend
