GPU-serverhosting: de infrastructuur achter serieuze AI

Wie zich verdiept in GPU-infrastructuur voor AI, komt al snel uit bij technische specificaties, prestaties en prijzen. Logisch, want de juiste hardware is belangrijk. Maar minstens zo belangrijk is de vraag hoe je die capaciteit gaat gebruiken, waar je data worden verwerkt en hoeveel controle je over je omgeving wilt houden.

Wat voor een eerste experiment een goede oplossing is, hoeft niet de beste keuze te zijn wanneer je AI-toepassingen dagelijks gebruikt. In dit artikel bespreken we de verschillen tussen gedeelde en dedicated GPU-infrastructuur en waar je op moet letten voordat je een keuze maakt.

GPU-infrastructuur: meer dan alleen rekenkracht

GPU's zijn ontworpen om grote aantallen berekeningen tegelijkertijd uit te voeren. Waar een CPU geschikt is voor uiteenlopende algemene taken, blinkt een GPU uit in parallelle verwerking.

Dat maakt GPU's bijzonder geschikt voor AI-toepassingen, zoals het trainen en draaien van taalmodellen, machine learning en beeldherkenning. Maar ook buiten AI worden GPU's ingezet, bijvoorbeeld voor 3D-rendering, videobewerking en complexe simulaties.

NVIDIA biedt verschillende GPU's voor deze toepassingen. Welke GPU geschikt is, hangt onder meer af van de benodigde rekenkracht, het GPU-geheugen en de manier waarop je de capaciteit gebruikt.

Toch is de keuze voor hardware maar één onderdeel. Ook de inrichting van de infrastructuur bepaalt welke prestaties, flexibiliteit en controle je krijgt.

Gedeelde of dedicated GPU's: wat is het verschil?

Een belangrijke keuze bij GPU-serverhosting is of je gebruikmaakt van gedeelde of dedicated capaciteit. Beide opties hebben hun voordelen, afhankelijk van de workload en de fase waarin je organisatie zich bevindt.

Gedeelde GPU-capaciteit

Bij gedeelde GPU-hosting maken meerdere gebruikers of workloads gebruik van dezelfde fysieke infrastructuur. Vaak kun je flexibel capaciteit afnemen en betaal je op basis van gebruik.

Dat is interessant wanneer je een AI-toepassing wilt testen, tijdelijk extra rekenkracht nodig hebt of nog niet precies weet hoeveel capaciteit je gaat gebruiken.

De keerzijde is dat prestaties afhankelijk kunnen zijn van de manier waarop resources worden verdeeld. Bij sommige omgevingen worden meer virtuele resources toegewezen dan er gelijktijdig fysiek beschikbaar zijn. Dit wordt oversubscription genoemd.

Ook kunnen de kosten bij intensief of langdurig gebruik oplopen.

Dedicated GPU-capaciteit

Bij dedicated GPU-hosting wordt de GPU exclusief aan jouw omgeving toegewezen. Je deelt de beschikbare GPU-capaciteit niet met andere klanten.

Dit kan interessant zijn voor toepassingen die continu draaien, intensieve berekeningen uitvoeren of voorspelbare prestaties nodig hebben.

Dedicated GPU's hoeven overigens niet te betekenen dat je zelf fysieke hardware moet aanschaffen of beheren. Via GPU as a Service kun je dedicated GPU-capaciteit afnemen op infrastructuur van een provider.

Gedeelde en dedicated GPU's vergelijken

Welke oplossing het beste past, hangt af van je toepassingen en het verwachte gebruik. Een gedeelde GPU kan prima voldoen voor een tijdelijke workload, terwijl dedicated capaciteit voordelen biedt wanneer prestaties en beschikbaarheid belangrijker worden.

Waarom de keuze voor GPU-infrastructuur belangrijker wordt in productie

Tijdens de ontwikkeling van een AI-toepassing ligt de aandacht vaak op de technische mogelijkheden. Werkt het model? Zijn de prestaties voldoende? En wat kost het om de toepassing te draaien?

Zodra een toepassing onderdeel wordt van de dagelijkse processen, komen daar andere vragen bij.

1. Voorspelbare prestaties
   Een AI-toepassing die af en toe wordt getest, stelt andere eisen dan een model dat dagelijks door tientallen of honderden gebruikers wordt aangeroepen.
   
   Wanneer de belasting toeneemt, wil je weten hoeveel capaciteit beschikbaar is en of de omgeving de gewenste prestaties kan blijven leveren.
   
   Met dedicated GPU-capaciteit weet je welke resources exclusief voor jouw workload beschikbaar zijn. Dat maakt het eenvoudiger om prestaties te meten en de benodigde capaciteit te bepalen.
    
2. Controle over je data en infrastructuur
   Bij AI worden regelmatig interne gegevens, klantinformatie of andere gevoelige data verwerkt. Daarom is het belangrijk om te weten waar deze gegevens terechtkomen, welke partijen toegang hebben tot de omgeving en welke mogelijkheden je hebt om de infrastructuur zelf in te richten.
   
   De keuze tussen gedeelde en dedicated capaciteit bepaalt niet automatisch hoe goed je data beschermd zijn. Ook de datacenterlocatie, toegangsrechten, beveiligingsmaatregelen en afspraken met de provider spelen hierin een rol.
    
3. Inzicht in de kosten
   Betalen naar gebruik is aantrekkelijk wanneer je nog experimenteert of slechts af en toe GPU-capaciteit nodig hebt. Maar wanneer een workload structureel draait, kan een variabel kostenmodel lastiger te voorspellen zijn. In dat geval kan dedicated capaciteit met vaste maandelijkse kosten interessant worden.
   
   Of dedicated GPU-hosting daadwerkelijk voordeliger is, hangt af van de benodigde hardware, het aantal gebruiksuren en de voorwaarden van de aanbieder.
    
4. Afhankelijkheid van je leverancier
   Bij het kiezen van GPU-infrastructuur is het verstandig om verder te kijken dan de huidige situatie. Wat gebeurt er wanneer je een ander AI-model wilt gebruiken? Kun je de omgeving aanpassen? En hoe eenvoudig is het om je toepassingen of data naar een andere infrastructuur te verplaatsen?
   
   Vooral wanneer AI een belangrijk onderdeel van je processen wordt, zijn dit vragen om vooraf te beantwoorden.

Waar wordt je data verwerkt?

De locatie van je GPU-infrastructuur verdient extra aandacht wanneer je werkt met gevoelige gegevens of moet voldoen aan specifieke wet- en regelgeving.

Het maakt verschil of je data binnen of buiten Europa worden verwerkt, welke wetgeving van toepassing is en welke partijen toegang kunnen krijgen tot je omgeving.

Maar datasoevereiniteit gaat verder dan alleen de fysieke locatie van servers. Ook de keuze voor AI-modellen, het beheer van de infrastructuur en de afhankelijkheid van externe leveranciers spelen een rol.

In ons artikel 'Wie heeft de regie over jouw AI?' gaan we uitgebreider in op deze afwegingen en hoe je meer controle houdt over je AI-omgeving.

Welke vragen moet je stellen voordat je GPU-capaciteit afneemt?

Bij het vergelijken van GPU-providers gaat de aandacht vaak uit naar de beschikbare NVIDIA GPU's, het geheugen en de prijs. Maar voor een goede keuze zijn er meer zaken om rekening mee te houden.

Hieronder zetten we de belangrijkste vragen op een rij en laten we zien welke mogelijkheden Proserve biedt:

Krijg je gedeelde of dedicated GPU-capaciteit?
Bij Proserve maak je gebruik van dedicated NVIDIA GPU's. De GPU wordt via PCI passthrough rechtstreeks gekoppeld aan je virtuele machine. Ook de CPU-capaciteit wordt exclusief toegewezen, zonder oversubscription. Zo beschik je over gereserveerde resources voor je eigen workload, zonder deze met andere klanten te delen.

Welke GPU's zijn beschikbaar?
Niet iedere toepassing heeft dezelfde rekenkracht nodig. Een kleinere AI-toepassing kan prima draaien op een andere GPU dan een groot taalmodel met veel gelijktijdige gebruikers. Binnen het GPU-aanbod van team.blue zijn verschillende NVIDIA GPU's beschikbaar voor uiteenlopende workloads: 

Welke GPU het beste past, hangt af van je toepassing, de benodigde capaciteit en de gewenste prestaties.

Waar staan de datacenters?
De GPU-infrastructuur van Proserve wordt aangeboden vanuit Europese datacenters, waaronder de GPU-infrastructuur van team.blue in Denemarken. De betreffende datacenterfaciliteit beschikt over ISO 27001- en ISAE 3402 type 2-certificering. Daarmee kun je GPU-capaciteit gebruiken binnen Europese infrastructuur, zonder zelf fysieke servers te hoeven aanschaffen.

Welke contracttermijnen zijn mogelijk?
Niet iedere workload vraagt om een langdurige overeenkomst. Zeker wanneer je nog experimenteert, wil je voorkomen dat je direct vastzit aan capaciteit die je mogelijk niet volledig gebruikt. Binnen het gezamenlijke GPU-aanbod zijn flexibele contractmogelijkheden beschikbaar, waaronder maandelijkse en langere looptijden. Zo kun je de contractvorm afstemmen op de verwachte duur en ontwikkeling van je workload.

Wie heeft toegang tot je omgeving?
Bij GPU-hosting is niet alleen de beschikbare rekenkracht belangrijk, maar ook de beveiliging van je omgeving. De GPU-infrastructuur van team.blue biedt onder meer DDoS-bescherming en mogelijkheden voor private firewalling en afgeschermde netwerkverbindingen.

Je beheert zelf je virtuele machine en bepaalt hoe je toepassingen worden ingericht. De toegang voor technische ondersteuning hangt af van de gekozen dienstverlening en de gemaakte afspraken.

Hoe is de ondersteuning geregeld?
Bij Proserve kun je kiezen voor GPU as a Service, waarbij je zelf verantwoordelijk bent voor het beheer van je virtuele machine, software en toepassingen. Wij verzorgen de onderliggende infrastructuur en ondersteunen bij infrastructuurgerelateerde vragen en problemen.

Wil je ook het technische beheer van je AI-omgeving uitbesteden? Dan biedt Proserve daarnaast Managed LLM. Hierbij verzorgen we onder meer de inrichting, het beheer, de monitoring en het onderhoud van de omgeving waarin je taalmodel draait.

Zo kun je de dienstverlening afstemmen op de technische kennis en capaciteit binnen je organisatie.

Wat gebeurt er wanneer je wilt overstappen?
Bij de keuze voor GPU-infrastructuur is het verstandig om vooraf te bespreken hoe je je data en toepassingen kunt verplaatsen wanneer je behoeften veranderen.

Denk aan de mogelijkheid om je modellen, configuraties en datasets te exporteren, maar ook aan de ondersteuning die een provider biedt bij een eventuele migratie. Door hier vooraf afspraken over te maken, voorkom je verrassingen wanneer je later een andere richting kiest.

De juiste GPU-infrastructuur begint bij de juiste vragen

De keuze voor GPU-serverhosting gaat verder dan het vergelijken van specificaties en prijzen.

Welke capaciteit heb je nodig? Hoe intensief gebruik je de GPU? Waar worden je data verwerkt? En hoeveel controle wil je houden over je omgeving?

Door deze vragen vooraf te beantwoorden, kun je een keuze maken die niet alleen aansluit op je huidige workload, maar ook op toekomstige ontwikkelingen. Of je nu een eerste AI-toepassing test of bestaande workloads wilt opschalen, de juiste infrastructuur begint bij inzicht in wat je daadwerkelijk nodig hebt.

Meer weten over GPU as a Service?

Hoe kies je de juiste GPU en hoeveel capaciteit heb je nodig? Tijdens ons webinar op 24 november om 11.00 uur bespreken team.blue-experts Phil Taylor en Marco Edelman hoe je GPU-capaciteit kiest, dimensioneert en opschaalt. Ook kijken we naar toepassingen buiten AI.