Zelfgehoste AI: zo houdt u uw AI-stack zelf in handen

Zelfgehoste AI betekent dat u alles zelf uitvoert: de modellen, de gegevens waarmee ze werken en de automatisering eromheen; op infrastructuur die u zelf beheert, in plaats van dit als dienst af te nemen vanuit de cloud van een leverancier. Een zelfgehoste LLM vormt daar de kern van: een taalmodel dat de inferentie binnen uw eigen netwerk uitvoert, zodat uw prompts en documenten niet buiten de grens komen die u zelf hebt bepaald. In deze praktische gids leest u waaruit een zelfgehoste AI-stack daadwerkelijk bestaat, op welke twee manieren u zo'n stack zelf kunt beheren en wat "uw stack zelf in handen hebben" eigenlijk moet betekenen voordat die uitspraak enige waarde heeft.

De vraag is niet theoretisch. Als u werkt onder toezicht van een toezichthouder, een securitybeoordeling moet doorlopen of gebonden bent aan afspraken met klanten, wordt "de leverancier regelt dat voor ons" elk jaar lastiger te verdedigen. Met zelfgehoste AI maakt u van AI iets waar u zelf de controle over hebt en waarover u verantwoording kunt afleggen tijdens een audit.

Drie termen worden gebruikt alsof ze hetzelfde betekenen. Dat zijn ze niet.

• Cloud-AI draait op de servers van de leverancier. Bij elke aanroep stuurt u gegevens naar buiten. U kunt snel beginnen, maar hebt de minste controle.
• Zelfgehoste AI draait op servers die u zelf beheert in uw datacenter, uw private cloud of een omgeving die volledig binnen uw eigen netwerk valt. De gegevens blijven aan uw kant van de grens.
• Lokale AI is hetzelfde idee, maar dan teruggebracht tot één apparaat: een model op één laptop of werkstation. Handig voor één ontwikkelaar, maar daarmee hebt u nog geen gedeeld en beheerd systeem voor een heel team.

Zelfgehoste AI is de variant die een hele organisatie kan uitvoeren, beheren en aantonen. Op die variant richt de rest van deze gids zich.

"Zelfgehoste AI" is niet één product dat u installeert. Het is een geheel van onderdelen die met elkaar moeten samenwerken en voor elk onderdeel geldt dat u het zelf beheert of ervan afhankelijk bent. Als u weet uit welke onderdelen de stack bestaat, voorkomt u dat u iets koopt dat als "zelfgehost" wordt verkocht, maar ongemerkt toch gegevens naar buiten stuurt.

• Een zelfgehoste LLM (inferentie). Het model en de server binnen uw netwerk waarop het draait. U kiest het model, bepaalt wanneer het wordt gewijzigd en voert de inferentie uit op uw eigen hardware. Als een provider een model onverwacht uitfaseert, verandert daardoor niet ongemerkt de manier waarop uw systeem zich gedraagt.
• Orchestratie. De laag die van een model daadwerkelijk werk maakt: stappen aan elkaar koppelen, tools aanroepen, bepalen wat er vervolgens gebeurt en waar dat nodig is een persoon bij het proces betrekken. Een kaal model geeft antwoord; orchestratie is wat de taak daadwerkelijk uitvoert.
• Een kennis- en datalaag. Hier staan uw documenten, embeddings en context. Als deze laag in de cloud van een leverancier staat, hebt u maar weinig aan een "zelfgehost model": de gegevensstroom bepaalt uiteindelijk of uw informatie uw omgeving verlaat.
• Identiteit en toegangsbeheer. Wie mag wat doen? Denk aan role-based access control (RBAC), gekoppeld aan de identiteiten die uw organisatie al beheert.
• Een audittrail. Een blijvende, exporteerbare registratie van wat het systeem heeft gedaan, opgeslagen op de plek waar u ook uw andere registraties bewaart. Zo kunt u aan de hand van uw eigen logs beantwoorden wie wat heeft gedaan en namens wie.
• Een sandbox en controle op uitgaande verbindingen. Een omgeving waarin toolcode en agentacties veilig kunnen worden uitgevoerd, plus duidelijk inzicht in elke verbinding die uw netwerk verlaat. Zo gaat er niets naar buiten behalve naar de endpoints die u hebt geconfigureerd.

Als u alle zes zelf beheert, hebt u uw stack zelf in handen. Beheert u er drie en huurt u de andere drie, dan hebt u een demo in handen.

Er zijn twee manieren om een zelfgehoste AI-stack op te zetten. Beide zijn legitiem, maar ze kosten u op verschillende manieren iets.

Route één: bouw hem zelf op. Neem een modelserver, een orchestratieframework, een observabilitytool, een sandbox, een modelproxy, een identiteitslaag en een trigger/scheduler — zeven afzonderlijke open componenten — en verbind ze met elkaar. U krijgt maximale flexibiliteit, maar u bent ook verantwoordelijk voor alle integratie. Dat betekent zeven upgradecycli, zeven autorisatiemodellen en een engineer die ervoor moet zorgen dat de verbindingen tussen al die onderdelen blijven werken. Voor sommige teams is die afweging de moeite waard. Zorg er dan wel voor dat u weet dat u iemand nodig hebt die verantwoordelijk is voor die integratie.

Route twee: gebruik één beheerde runtime. Kies één zelfgehost platform waarin orchestratie, sandbox, identiteit, audittrail en modelkeuze al samenkomen en verbind uw eigen model en gegevens ermee. U levert wat vrijheid van losse componenten in, maar krijgt één geheel om te upgraden, één model voor machtigingen en één plek waar uw operations-team mee werkt. De onderdelen blijven van u; ze worden alleen als één geheel geleverd en beheerd in plaats van als een losse bouwset.

De keuze gaat dus niet over "zelf bouwen of uw onafhankelijkheid kopen". Beide routes zijn zelfgehost en bij beide blijven de gegevens aan uw kant. De vraag is hoeveel integratiewerk u zelf wilt beheren en hoeveel u al geïntegreerd wilt ontvangen.

"Zelfgehost" en "uw stack zelf in handen hebben" worden steeds verder opgerekt, totdat ze eigenlijk niets meer betekenen. Dit zijn de eisen die u aan elke tool zou moeten stellen — van uzelf, van ons of van wie dan ook:

• Draait op uw infrastructuur, met het model dat u kiest. Uw servers, uw LLM-endpoint; in de cloud of volledig on-premises, binnen uw eigen netwerk. U bepaalt waar de rekenkracht wordt ingezet en kunt van model wisselen zonder alles wat erop gebouwd is opnieuw te moeten ontwerpen.
• U kunt de code lezen. Als het platform source-available is, kunnen uw engineers controleren wat het doet en waar gegevens naartoe gaan, in plaats van te vertrouwen op een marketingpagina. Source-available is niet hetzelfde als "open source": u kunt de code lezen, uitvoeren en aanpassen binnen de voorwaarden van een duidelijke licentie. Het belangrijkste is dat u de werking daadwerkelijk zelf kunt controleren.
• Eén set uitgaande verbindingen, die u kunt zien. Alleen de verbindingen die u hebt geconfigureerd verlaten uw netwerk. Geen telemetrieverbinding, geen "synchronisatie voor uw gemak" en geen tweede opslaglocatie waar u nooit om hebt gevraagd.
• Governance die u zelf beheert, niet iets waar u voor afhankelijk bent van een leverancier. RBAC en een exporteerbare audittrail die in uw eigen systemen staan. "We hebben uw gegevens nergens naartoe gestuurd" is een bewering die uw auditors moeten kunnen controleren, niet iets wat ze maar moeten aannemen.
• Uitstapmogelijkheid en continuïteit. Als de samenwerking met de leverancier eindigt, blijft uw stack werken. Uw stack zelf in handen hebben betekent ook dat u het recht hebt om ermee door te gaan zonder dat iemand anders daarvoor moet blijven meewerken.

Let op wat er niet op deze lijst staat: het aantal connectors, een benchmarkscore of een muur vol logo's. Uw stack zelf in handen hebben draait om controle en verifieerbaarheid, niet om het aantal functies.

Zelfgehoste AI is een echte keuze met echte kosten. Die negeren is precies hoe projecten voor zelfgehoste AI uiteindelijk vastlopen.

• U beheert de infrastructuur. GPU's, capaciteit en updates worden uw verantwoordelijkheid. Een beheerde runtime vermindert het integratiewerk, maar zorgt er niet voor dat de servers ineens het probleem van iemand anders zijn.
• Modelkwaliteit is een keuze, geen standaardinstelling. De grootste frontiermodellen zijn momenteel alleen via de cloud beschikbaar. Met een zelfgehoste LLM kiest u een model dat u goed op uw eigen hardware kunt draaien. Dat kan uitstekend passen bij uw toepassing, maar het is een keuze die u bewust maakt in plaats van een optie die u simpelweg aanvinkt.
• Governance kost eenmalig werk. RBAC, het koppelen van identiteiten en een audittrail moeten worden ingericht. Daarna zijn ze van u en levert elke maand dat u de stack gebruikt meer gegevens op in een registratie die u zelf beheert. Precies dat krijgt u nooit bij een abonnement.

De reden om deze kosten te accepteren is geen ideologie. Voor een organisatie die onder toezicht staat, soeverein wil opereren of aan contractuele verplichtingen gebonden is, is controle die u kunt aantonen meer waard dan gemak waarvoor u iemand anders moet vertrouwen.