Hoppenbrouwers Techniek, een Nederlandse technisch dienstverlener met 1.600 medewerkers en een omzet van 260 miljoen euro, werd bijna een jaar geleden gehackt door de Russische hackersgroep REvil. De kruitdampen zijn opgetrokken, de lessen geleerd, de balans opgemaakt. Wat waren de sleutelmomenten? Reconstructie van een krankzinnig weekend in Udenhout.
Hoppenbrouwers Techniek staat midden in de samenleving. Het bedrijf met negentien vestigingen richt zich op elektrotechniek, beveiliging, werktuigbouwkunde en industriële automatisering. Dat brengt verantwoordelijkheid met zich mee en Hoppenbrouwers begrijpt als geen ander dat hackers een continu sluimerend gevaar zijn. De voorzorgsmaatregelen waren dan ook beter dan gebruikelijk, volgens Pim Takkenberg van Hoppenbrouwers’ securitydienstverlener Northwave. De boel stak goed in elkaar, met dubbele authenticatie, goed patchmanagement en elke twaalf uur een backup. Toch kwam de hack op 2 juli 2021 binnen als een mokerslag.
Vrijdag 2 juli 2021, 18:30 uur – Inloggen lukt niet
Op vrijdag 2 juli 2021 rond 18:30 uur komen de eerste signalen binnen dat er iets geks aan de hand is. Een van de medewerkers probeert tevergeefs in te loggen op zijn laptop. Vreemd, waarom lukt het niet? Hij belt met de ict-afdeling en na wat uitzoekwerk wordt de mogelijkheid geopperd dat het om een hack zou kunnen gaan. Het zal toch niet waar zijn? Het weekend staat voor de deur. Normaal gesproken gaat rond deze tijd het vuur aan onder de barbecue. Bij Hoppenbrouwers hebben ze iets anders aan hun hoofd.
Na meer onderzoek komen de systeembeheerders erachter dat Kaseya, leverancier van de beheersoftware (waarmee Hoppenbrouwers laptops en servers op afstand beheert) ’s middags om 14:55 uur een securityincident heeft gemeld. Door een lek in de software kon een server van Kaseya misbruikt worden. Vanuit ip-adres 18.223.199.234 is de server gebruikt voor het verspreiden van gijzelsoftware (ransomware). Waarschijnlijk is dat de oorzaak van de problemen. Dat zou ernstig zijn want een klein stukje van deze software draait op elk eindpoint, elke computer en elke laptop van het bedrijf.
Vrijdag 2 juli 20:30 uur – Management gemobiliseerd
Rond 20:30 uur wordt it-manager Marcel de Boer op de hoogte gebracht door systeembeheerder Rick Willemen. De Boer: ‘Die belt anders nooit op dat tijdstip. Ik kwam net terug van een terrasje. Toen ik zijn naam zag, wist ik dat hij niet belde om me een goed weekend te wensen.’ Willemen valt met de deur in huis, de organisatie is gehackt. De Boer geeft hem het noodnummer van verzekeraar Chubb, die digitaal crisismanagement verzorgt.
Zelf stapt De Boer na het telefoontje in zijn auto en rijdt naar de zaak in Udenhout, waar hij twintig minuten later een man of vijf van de ict-afdeling aantreft. Ook directeur Henny de Haas wordt geïnformeerd. Die komt kort daarna binnen. Ook het cert (computer emergency response team) van Northwave is ingeschakeld. Dan begint De Grote Improvisatieshow. Wat is er precies gebeurd en hoe lossen we het op? De Boer: ‘We konden geen draaiboek uit de kast trekken. Omdat we niet wisten wat de hack precies zou betekenen in de praktijk, moesten we alle oplossingen ter plekke bedenken.’
Vrijdag 2 juli 23:00 uur – Alle systemen uit
Hoppenbrouwers werkt met zelfsturende teams. Daar wordt nu profijt van getrokken want de medewerkers zijn gewend aan zelf initiatief nemen. Er wordt gedelegeerd, er worden knopen doorgehakt, er wordt een crisisteam geformeerd en een plan van aanpak gemaakt. Het crisisteam wordt in tweeën gesplitst: ict-activiteiten en organisatorische zaken. (De ict’ers moeten niet gehinderd worden door organisatorische zaken, en omgekeerd, zo is de gedachte.)
Iets na 23.00 uur informeert De Haas alle collega’s van Hoppenbrouwers per sms en whatsapp over de hack. De Haas’ mededeling gaat gepaard met een duidelijke waarschuwing: ‘Schakel je laptop niet in en log niet in op het netwerk.’ Ondertussen zijn alle servers, systemen en internetverbindingen uitgeschakeld om verder doorwoekeren van de infectie te voorkomen. Tot diep in de nacht wordt gewerkt aan een plan de campagne voor het naderende weekend. De bedoeling is servers uit te breiden en backups terug te zetten. De Boer: ‘Kort gezegd was het plan de geïnfecteerde situatie te laten staan en de nieuwe situatie schoon op te bouwen. Toen we alle afspraken voor de dagen erna hadden gemaakt, was het 03:00 uur in de nacht. ‘Lieve mensen, pak een paar uur slaap’, hebben we gezegd. De dag erna moesten we flink doorpakken.’
Zaterdag 3 juli 07:30 uur – Georganiseerde schoonmaakactie
Voor dag en dauw komen medewerkers samen in het ‘commandocentrum’ in Udenhout. Personeel heeft zich massaal gemeld om te komen helpen. Rond het middaguur zijn er zo’n 150 krachten actief vanuit verschillende vestigingen – en het worden er alleen maar meer. Het ict-team focust zich op het verwijderen van het virus en het in de lucht krijgen van de backup. De laatste backup is van vrijdagmiddag 12:00 uur. Die blijkt gelukkig niet versleuteld. Tot zover het goede nieuws want het werk van na vrijdag 12:00 uur is verloren. De Haas legt uit wat dat concreet betekent. Er zijn facturen naar klanten, contracten naar onderaannemers en bestellingen naar leveranciers gestuurd die niet in het systeem staan. Dit alles zal weer bij elkaar gesprokkeld moeten worden. Hoe? Dat is van latere zorg.
Er wordt een protocol opgesteld om een kleine tweeduizend eindpunten op te schonen en te voorzien van nieuwe beheersoftware. Dit houdt in dat alle harde schijven, alle cad-stations, gebouwbeheer-pc’s en laptops moeten worden nagelopen. Een speciaal team van zo’n twintig medewerkers rijdt tussen de locaties en het episch centrum in Udenhout, waar ‘laptopschoonmaakstraten’ zijn ingericht voor het doorlichten en opschonen van apparatuur.
Gaandeweg komt duidelijkheid over de aangerichte schade. Zo’n zeven procent van de computers en laptops blijkt aangetast. Van de tekenstations is zo’n twintig procent besmet. Dit percentage ligt hoger omdat een groot deel niet was afgesloten. Hoe dan ook, de schoonmaakactie verloopt voorspoedig, zelfs zo voorspoedig dat op zaterdagmiddag al driekwart van de apparatuur is gecontroleerd. Rond 16:00 uur kunnen de eerste medewerkers hun laptop alweer komen ophalen. Het opschonen van alle geïnfecteerde servers is een lastigere klus, die nog de hele nacht in beslag zal nemen.
Zaterdag 3 juli 16:15 uur – Appje van Northwave
Rond 16:15 uur krijgt De Boer een appje van Pim Takkenberg (Northwave), die contact heeft gehad met de hackersgroep REvil. ‘Hoi Marcel, ik ben in gesprek gegaan met de aanvallers’, schrijft Takkenberg. ‘Dat is een standaardprocedure. Ze hebben twee versleutelde bestanden ontsleuteld teruggestuurd. Ze vragen 50.000 dollar losgeld in Monero.’ De criminelen deden wat ze altijd doen in het geval van gijzelsoftware. Ze proberen in te breken op systemen om die vervolgens te versleutelen. Pas na betaling van losgeld verstrekken ze de sleutel aan de getroffen ondernemer om de blokkade ongedaan te maken.
REvil, dat zich bedient van een raas-model (ransomware-as-a-service), beweert honderden terabytes van ruim honderd bedrijven te hebben buitgemaakt. Takkenberg neemt dat verkapte dreigement met een korrel zout. Het kan bluf zijn, waarschuwt hij in het betreffende appje: ‘Ze geven aan dat ze data hebben gestolen. Eerlijk gezegd betwijfel ik of dat echt zo is. Ik heb om bewijs gevraagd.’ Takkenberg acht de kans buitengewoon klein dat de criminelen data in bezit hebben. Zijn twijfel heeft te maken met de korte periode dat de aanvallers ‘binnen’ zijn geweest en de manier waarop dat is gebeurd. Voor De Boer is betalen sowieso geen optie.
Zondag 4 juli 07:30 – Partners en kinderen
Op zondagochtend is het weer alle hens aan dek. De sfeer is hartverwarmend. Ook partners en kinderen zijn van de partij. Er is taart in overvloed en de kinderen zijn duidelijk geïnspireerd geraakt door de hele situatie. Ze maken tekeningen alsof ze nooit meer iets anders willen doen. De hacker wordt genadeloos vastgelegd met viltstiften en krijt. Ook de aanwezige medewerkers zijn supergemotiveerd. Aan het eind van de dag zijn vrijwel alle laptops en computers hersteld en virusvrij gemaakt.
Om alle risico’s uit te sluiten, wordt een aparte procedure opgezet om laptops schoon te verklaren en vrij te geven. Voordat werkemers weer aan de slag kunnen, moeten ze akkoord krijgen van ict. Inclusief een nieuw wachtwoord, dat binnen een bepaalde tijd geactiveerd moet worden. Wachtwoorden die niet binnen de aangegeven tijd zijn aangepast, worden geblokkeerd. Op de website en het intranet komt een protocol te staan, waarin helder wordt uitgelegd hoe alles weer zal worden opgestart.
Zondag 4 juli 20:00 uur – Webinar voor voltallig personeel
Op zondagavond organiseren Henny de Haas en Marcel de Boer een webinar om het personeel te ‘informeren en activeren’. De Haas krijgt het even te kwaad zodra hij de 1.600 medewerkers wil gaan toespreken. ‘Er is vrijdagavond iets lulligs gebeurd’, zegt hij stotterend en met een brok in de keel. ‘Dit is even een emotioneel momentje voor mij…’ Hij herpakt zich en gaat over tot de orde van de dag. Hoe is het gelopen? Wat moet er gedaan worden?
Het personeel wordt op het hart gedrukt goed na te denken over de consequenties van het werk dat is verdwenen. De Haas en De Boer proberen alle technische informatie te geven die nodig is. Van een eventuele schuldvraag richting eigen personeel is geen sprake. Kaseya wist dat er een lek was, maar heeft niet gewaarschuwd. Geen van de medewerkers kon iets doen om de hack te voorkomen.
Maandag 5 juli 08:00 uur – Bijna iedereen weer aan het werk
Op maandagochtend zijn alle vestigingen van Hoppenbrouwers weer live. ‘s Middags om 12:00 uur kan negentig procent van de medewerkers weer ‘gewoon’ werken. ‘Dat is buitensporig goed en een groot compliment waard’, aldus Pim Takkenberg. ‘Vergelijkbare incidenten bij andere bedrijven kosten zomaar drie weken. Van de honderd zaken die ik heb gedraaid, heb ik deze snelheid maar twee of drie keer eerder gezien.’ Alle medewerkers wordt opgedragen externe usb’s of harde schijven eerst door de virusscan te halen. Daarvoor wordt een gebruiksaanwijzing beschikbaar gesteld. Voor elke vestiging wordt een ict-helpdesk ingesteld voor als er vragen of problemen zijn. Per vestiging wordt iemand met kennis van zaken aangewezen als verantwoordelijke en aanspreekpunt.
In de loop van de week keert de rust weer terug in het bedrijf. De storm is gaan liggen. Zo’n 16.000 relaties krijgen een mail waarin wordt uitgelegd wat er is gebeurd en hoe Hoppenbrouwers erger heeft weten te voorkomen. Want dat lijkt de voornaamste conclusie. Klanten zijn niet gedupeerd geraakt en REvil is er niet in geslaagd losgeld los te peuteren of gegevens van de servers te bemachtigen. De hack heeft wel geld gekost. De Boer becijfert de schade op ongeveer 400.000 euro, toe te schrijven aan extra gemaakte uren, stilstandschade en het inschakelen van externe bedrijven. ‘Een schijntje als je weet dat het losgeld van hackers soms vijf procent van de omzet bedraagt.’ Hoe dan ook, het was een heftige ervaring. Maar de aanval is afgeslagen.
Vrijdag 14 januari 2022 – Kopstukken REvil lopen tegen de lamp
Enkele kopstukken van REvil worden op 14 januari 2022 opgepakt door de Russische veiligheidsdienst FSB. Daarop had de VS aangedrongen. De VS had zelfs een beloning van tien miljoen dollar uitgeloofd voor informatie die zou leiden tot de identificatie of locatie van belangrijke leden van REvil.
Of dat heeft meegespeeld als extra motivatie voor een klopjacht, is niet duidelijk maar in heel Rusland zijn 25 huiszoekingen gedaan. Daarbij zijn behalve tonnen aan dollars, euro’s en roebels ook crypto-wallets en twintig luxe auto’s in beslag genomen. Meerdere leden van de cyberbende zijn gearresteerd. Dat is goed nieuws, verdomd goed nieuws. In Udenhout maken ze een vreugdesprongetje.
(Dit artikel verscheen eerder in Computable-magazine #04/22.)
