Bots, bot-netwerken en bot-verkeer. Je leest er over in de krant en online. Wat zijn het, deze bots? Zijn ze schadelijk? Heeft iedereen ze? Kun je ze misschien kopen? Relevante vragen, zeker voor personen werkzaam in de reissector. Met de zomervakantie voor de deur, vijf vragen (en antwoorden) over bots die iedereen actief in de reissector moet weten.
- Wat is een bot?
Een bot, ook wel webrobot genoemd, is een software-programma dat automatisch draait en actief is op internet. Webbots verzamelen informatie van websites en worden ingezet door zoekmachines: door partijen die data verzamelen, bundelen en doorverkopen, maar ook door concurrenten.
Er zijn ‘goede bots’ – zoals de Googlebot, die informatie verzamelt om websites te indexeren – en er zijn bots die servers overbelasten. In DDoS-aanvallen (Distributed Denial-of-Service) maken bots websites voor langere tijd onbereikbaar.
- Waar worden bots voor gebruikt?
Webbots, scrapers en andere geautomatiseerde apps worden op grote schaal ingezet voor het verzamelen van concurrentiegevoelige informatie, het bepalen van locaties en het informeren van zoekmachines. Zo gebruiken financiële instellingen bots om snel portfolio’s te doorspitten. En een concurrerende reisagentschap zet een bot in om gegevens van jouw site te plukken en dezelfde reis voor een scherpere prijs op de markt te brengen.
- Vormen bots een probleem?
Je kan bots op verschillende manieren bekijken. Vanuit it-perspectief vormen agressieve of slecht geprogrammeerde bots een probleem omdat ze je website vertragen. Uit onderzoek blijkt dat minimaal dertig procent van al het verkeer in de reisindustrie bestaat uit bot-verkeer. Bovendien zijn er gevallen bekend waarbij bots duizenden ‘verzoeken’ per seconde uitstuurden. Een dergelijk volume aan bot-verkeer drukt zwaar op de it-systemen – waarop ook de website vaak draait.
Vanuit zakelijk perspectief bekeken, hebben bots zowel een positieve als negatieve impact. Goede webbots, zoals de Googlebot, zijn essentieel voor de e-commerce en zeker die van de online-reisbranche. Maar bots die informatie van jouw website schrapen (vaak in opdracht van de concurrentie) staan tussen jou en je klanten. Hierdoor heb je minder controle over je online-activiteiten, en dus minder mogelijkheden voor sales en conversie. Uiteindelijk zal dit je relatie met je klanten schaden.
- Hoe zit het met bots in de reisbranche?
Zoals gezegd speelt bot-verkeer een steeds belangrijkere rol in de reissector. Ze bepalen hoe reizigers hun hotel en vervoer zoeken en boeken. Zoekmachines maken immers veelvuldig gebruik van bots en bepalen de positie in de zoekresultaten mede op basis van de door de bots verzamelde informatie. Het is daarom belangrijk dat zoekmachine bots (ook wel crawlers genoemd) hun gang kunnen gaan. Is dat niet het geval, dan heeft dat een negatieve invloed op de ranking. Er zijn partijen die gespecialiseerd zijn in het testen van de search engine optimization (seo; zoekmachineoptimalisatie)-activiteiten van een onderneming. Zij zetten daarvoor ook bots in die de website doorspitten om te zien of die optimaal presteert en waar nog winst te behalen valt.
Toch is er ook een keerzijde aan het succesverhaal van botverkeer door zoekmachines. Google is daar een goed voorbeeld van: het bedrijf biedt sinds enige tijd zijn eigen travel-aanbod aan via Google Flights. In plaats van reizigers te verbinden met een relevante OTA (online travel agency) kunnen klanten direct via Google boeken bij de reisorganisatie. Dit kan Google doen omdat het via zijn bot-netwerk beschikt over grote hoeveelheden actuele gegevens. Het zet daarmee veel OTA’s buitenspel.
Zoals gezegd, is een te groot aandeel van botverkeer op de site niet wenselijk omdat het systemen trager laat reageren. Snelheid van een website is juist belangrijk in de reisindustrie. Onderzoek wijst uit dat websitebezoekers slechts een paar seconden willen wachten op het laden van een webpagina. Wanneer dit te lang duurt, verlaten ze de pagina – en gaan mogelijk naar een concurrent.
De ervaring op een website moet vanaf de eerste seconde optimaal zijn. Vormgeving, gebruiksgemak en dus ook snelheid spelen daarin een belangrijke rol. Maar consumenten verwachten een persoonlijke ervaring wanneer ze een website bezoeken. Bedrijven die actief zijn in de reissector, doen er daarom goed aan de data die ze dankzij het site-bezoek van (potentiële) klanten krijgen, goed te analyseren en daarop hun website en aanbod aan te passen. Dit leidt tot tevreden klanten en uiteindelijk meer omzet.
Maar ook hier kunnen bots roet in het eten gooien. Een site weet meestal niet of het te maken heeft met een mens of een bot. Dat kan ervoor zorgen dat marketingdata op basis van het websitebezoek, waarop vaak strategische en commerciële beslissingen worden gemaakt, corrupt raken en het bedrijf niet de juiste aanbiedingen kunnen presenteren.
Ook goed om weten, is dat er een correlatie is tussen bots en kosten voor het boeken van vluchten. Wanneer bots op een site informatie opvragen over een bepaalde aanbieding, worden deze aanvragen doorgestuurd naar het Global Distribution System (GDS) die de gevraagde informatie direct terugstuurt. Maar elke keer dat het GDS reageert op een aanvraag, rekent het kosten door aan de aanvrager.
Zoals gezegd bestaat minimaal dertig procent van het verkeer op veel reiswebsites uit bots. Deze kunnen tot honderdduizenden requests per dag genereren. Je hoeft geen wiskunde gestudeerd te hebben om in te zien dat die een kostenpost vormen waar verder weinig inkomsten tegenover staan.
- Wat kun je doen aan botverkeer?
Uit bovenstaande blijkt dat bots duidelijk twee ‘gezichten’ hebben. Ze zorgen voor betere zoekresultaten, betere seo en wanneer zoekmachines besluiten zelf agent te worden (zoals Google) stellen ze reisbureaus in staat onder de aandacht te komen van klanten die niet zo veel clicks nodig hebben als een bot. Maar tegelijkertijd zorgen ze ook voor problemen.
Op individueel niveau is ongewenst botverkeer moeilijk te vermijden. Er zijn wel it-oplossingen in de markt die zijn ontwikkeld om bot-verkeer op een slimme manier aan te pakken. Vaak zijn dat diensten aangeboden als online-service en waar bedrijven een abonnement op kunnen nemen.
Het blokkeren van alle bot-verkeer is niet slim, gezien de potentiële waarde van bots en om de afzenders van kwaadaardige bots niet te laten weten dat je hen in de smiezen hebt. Daarom zijn deze systemen zo ontwikkeld dat ze verschillende soorten webverkeer herkennen. Zo zijn ze in staat om menselijk en bot-verkeer van elkaar te onderscheiden. Daarnaast zijn ze ook in staat om goed bot-verkeer alle vrijheid te geven en onwenselijk bot-verkeer om te leiden of informatie voor te schotelen waar het eigenlijk niets mee kan. Zo kan er optimaal geprofiteerd worden van bots. En dat is uiteindelijk in het voordeel van de reisorganisatie, maar vooral ook van de klanten.
