In de videostreaming-sector draait alles om beschikbaarheid. Als er een veelgevraagde nieuwe film of serie beschikbaar wordt gesteld, moet de infrastructuur dat wel aankunnen; er zijn genoeg aanbieders, en klanten aarzelen niet lang om over te stappen als er te vaak uitval is. Netflix koos voor cloudleverancier Amazon Web Services.
Netflix, inmiddels één van de grootste spelers, maakte in 2009 nog gebruik van eigen servers. Het bedrijf had echter zijn zinnen op de wereldwijde markt gezet. Om de toekomstige vraag aan te kunnen, besloot het bedrijf tot een cloudgebaseerde infrastructuur.
Hoewel Netflix al in 1997 werd opgericht, is het pas sinds 2010 een internationale dienst; in dat jaar kregen inwoners van Canada toegang. Om te kunnen groeien van een Amerikaanse naar een globale speler, moest een schaalbare, elastische en beschikbare infrastructuur worden gebouwd. ‘In 2008 namen we het besluit om onze content wereldwijd aan te gaan bieden’, zegt Eva Tse, manager Big Data Platform bij Netflix. ‘We besloten onze infrastructuur in de cloud te draaien. Onze keuze viel daarbij op Amazon Web Services.’ Netflix koos AWS als cloudleverancier vanwege de grote schaalbaarheid en de brede set functionaliteiten en diensten.’
Een lange maar leerzame weg
Een grote infrastructuur als die van Netflix naar de cloud migreren is niet eenvoudig. Hoewel het mogelijk is om alle systemen onveranderd van de eigen servers te halen en naar de cloud te uploaden, worden dan ook alle problemen en beperkingen van de datacentra onveranderd meegenomen. Netflix koos daarom voor een ‘cloud-native’-benadering. Het bedrijf herbouwde al zijn technologie en veranderde de bedrijfsvoering fundamenteel. ‘We zijn dankzij de cloud DevOps-georiënteerd geworden. Bij Netflix heerst een cultuur van vrijheid en eigen verantwoordelijkheid’, zegt Tse. ‘Onze ontwikkelaars kunnen bij AWS binnen enkele seconden nieuwe ‘instances’ oproepen om te testen. In het verleden moesten ze dan de it-afdeling bellen, en kon het dagen of soms zelfs weken duren voor ze daadwerkelijk toegang kregen. Innovatie gaat daardoor een stuk sneller.’
Het aantal Netflix-gebruikers groeide sinds 2008 enorm. Yuri Izrailevsky, vice president Cloud and Platform Engineering: ‘Zulke snelle groei hadden we met eigen datacentra nooit kunnen bijbenen. De elasticiteit van de cloud stelt ons in staat duizenden virtuele servers en petabytes aan opslag binnen enkele minuten toe te voegen.’ De uitrol naar verschillende landen ging jarenlang gestaag, tot begin dit jaar: toen werd Netflix in één klap aan gebruikers in honderddertig nieuwe landen beschikbaar gesteld.
Tools
De front-end die kijkers zien als ze inloggen, draait volledig op servers van Amazon Web Services: suggesties voor films en series op basis van kijkgedrag en codering van video’s op basis van apparatuur wordt mogelijk gemaakt door AWS. Pas bij het daadwerkelijke afspelen komt het zogeheten Netflix’ Content Delivery Network (CDN) eraan te pas: dit levert de content bij gebruikers af.
Netflix Open Connect werd in 2011 ontwikkeld en reserveert op basis van locatie van de kijker servers bij internetproviders, om te voorkomen dat internetverkeer over veel te lange afstanden en via onlogische routes loopt en zo voor te zware belasting van het netwerk zorgt. ‘Daarbij maken we gebruik van verschillende AWS cloud-regio’s, waardoor we de capaciteit van onze wereldwijde infrastructuur dynamisch kunnen rondschuiven en uitbreiden. Daardoor hebben Netflix-leden een betere streaming-ervaring, waar ze ook zijn’, zegt Izrailevsky.
Voor internetproviders met veel Netflix-abonnees loont het om een speciale Open Connect Appliance-server te plaatsen, die door Netflix Open Connect kan worden aangesproken. Dat gebeurt in de regel ’s nachts, omdat er dan relatief weinig kijkers aan het streamen zijn. Dan wordt ook de bibliotheek bijgewerkt op de AWS-servers. Het denkwerk over de distributie, dus wat waarheen moet, wordt door de servers van AWS verricht op basis van voorspelling: niet alle content zal overal even populair zijn, al worden eigen producties als House of Cards en Orange is the New Black wel overal beschikbaar gesteld. Als de content op de Appliance-servers is geplaatst, zorgt AWS ervoor dat er een knop met afbeelding in de front-end verschijnt.
Cloudvoordelen
Wegvallende of kwalitatief slechte streams behoren dankzij de cloud tot het verleden. Voorheen ondervonden Netflix-gebruikers nog wel eens problemen tijdens het streamen als gevolg van storingen in Netflix’ eigen datacentra, maar sinds de migratie naar de cloud is de beschikbaarheid fors verbeterd. Hoewel in systemen van deze omvang uitval niet te voorkomen is, is Netflix bijna 99,99 procent van de tijd beschikbaar voor gebruikers. Uitval kan nog steeds voorkomen, maar omdat in de AWS-cloud gebouwd kan worden met redundante componenten, merkt de eindgebruiker het niet als er storingen zijn.
Hoewel beschikbaarheid de belangrijkste reden was om naar de cloud over te stappen, en niet kostenbesparing, is het wel een bijkomend voordeel. Door de elasticiteit van de cloud kan Netflix voortdurend het aanbod afstemmen op de vraag, en hoeven er geen capaciteitsbuffers gehanteerd te worden. Met eigen datacentra was dat nooit mogelijk geweest, meent het bedrijf.
Toevallig vielen het einde van de migratie naar de AWS-cloud en de afronding van de – nagenoeg – wereldwijde uitrol min of meer met elkaar samen. De meeste systemen van Netflix, waaronder alle dienstverlening richting klanten, waren al voor 2015 naar de cloud gemigreerd. In januari van dit jaar was dit ook voor alle datamanagementsystemen het geval, en werden de laatste fysieke datacentra gesloten. Daarmee liet Netflix de beperkingen die eigen infrastructuur met zich meebrengen, voorgoed achter zich. Door de cloud is de dienst uitgegroeid tot een wereldwijde leverancier van video.
