Voordat u een AI-agentplatform zelf host: de vragen die u aan elke leverancier moet stellen

Een goede leverancier beantwoordt deze vragen gewoon. Een leverancier die eromheen draait, vertelt u daarmee ook iets.

TL;DR — Zeven vragen die u aan elke leverancier van AI-agents moet stellen voordat u zelf gaat hosten. Ze zijn bewust neutraal ten opzichte van leveranciers: elke vraag betreft iets wat u zelf kunt controleren, niet slechts een belofte die u maar moet aannemen. Als een leverancier geen duidelijk antwoord kan geven, zegt die stilte genoeg. En waar we EpicStaff hieronder noemen, doen we dat eerlijk, ook als het eerlijke antwoord een uitzondering is.

"Zelfgehost" is een term waar leveranciers graag mee schermen, of het nu echt zo is of niet. Sommige platforms draaien volledig binnen uw eigen omgeving. Andere draaien lokaal aan de voorkant, maar maken voor de onderdelen die er echt toe doen nog steeds verbinding met een gehoste cloudomgeving. In de verkoopbrochure worden beide "zelfgehost" genoemd.

Een live demo vertelt u niet welke van de twee u voor u hebt. Een demo is bedoeld om er goed uit te zien. Schriftelijke vragen die vóór de demo worden beantwoord, vertellen u veel meer — omdat leveranciers schriftelijk anders antwoorden dan in een gesprek en juist de vragen waarop een lange stilte volgt, nuttig zijn.

Hier zijn er zeven. Stuur ze eerst.

Dit is de vraag waarmee u alle andere antwoorden kunt controleren. Als u de code kunt lezen, wordt elke bewering hieronder iets wat u zelf kunt verifiëren in plaats van iets wat u moet aannemen. Als dat niet kan, bent u afhankelijk van de beschrijving die de leverancier van zijn eigen product geeft. Die kan best kloppen, maar biedt een minder sterke vorm van zekerheid. U moet weten welke van de twee u koopt.

Vraag het gewoon rechtstreeks: is de broncode beschikbaar om te lezen en onder welke licentie?

EpicStaff, eerlijk gezegd: de broncode is beschikbaar om te lezen onder de PolyForm Perimeter 1.0.0-licentie. U kunt de code lezen, uitvoeren en aanpassen voor uw eigen gebruik. U vindt de code op github.com/EpicStaff/EpicStaff. (Let op: source-available is niet hetzelfde als "open source" volgens de OSI. Het verschil zit in één beperking op het gebruik ervan om een concurrerend product aan te bieden. Dit heeft geen gevolgen voor uw mogelijkheid om de code te inspecteren of uit te voeren.)

"Zelfgehost" zou moeten betekenen dat de inference plaatsvindt binnen de grens die u beheert. Vraag rechtstreeks of het platform kan werken met modellen in uw eigen infrastructuur en of het lokale, zelfgehoste modellen kan gebruiken in plaats van alleen gehoste API's.

Let op platforms die uw orkestratie lokaal hosten, maar elke daadwerkelijke modelaanroep naar een cloudendpoint sturen waar u geen controle over hebt. Dat is een reële architectuur en voor u misschien prima — maar het brengt een ander risicoprofiel met zich mee. U moet daar bewust voor kiezen.

EpicStaff, eerlijk gezegd: het draait binnen uw eigen omgeving, op het model dat u voor uw agents kiest — inclusief lokale, zelfgehoste modellen.

Dit is de vraag waarop de meeste "zelfgehoste" tools stilletjes tekortschieten. Stel hem daarom in twee delen, want daarop zijn twee verschillende antwoorden nodig:

• Maakt het platform zelf uitgaande verbindingen?
• Welke meegeleverde functies en tools maken afzonderlijk uitgaande verbindingen?

Leveranciers beantwoorden vaak alleen de eerste vraag. Veel "zelfgehoste" tools maken voor specifieke taken nog steeds verbinding met gehoste providers — bijvoorbeeld voor embeddings bij het zoeken in documenten, spraak- of realtime-eindpunten en gebruikstelemetrie — ook als de kern lokaal draait. Vraag om een overzicht per functie. Als niemand dat kan geven, weet niemand het daadwerkelijk.

EpicStaff, eerlijk gezegd: EpicStaff maakt alleen verbinding naar buiten met de providers waarvoor u sleutels configureert. Tools doen wat u ze opdraagt: een tool die u bouwt of inschakelt en die het internet bereikt, is uw keuze en uw configuratie. Eén geval om te weten: spraak- en realtimefuncties maken verbinding met de gehoste endpoints van hun providers en kunnen momenteel niet naar uw eigen endpoints worden omgeleid. En niets is out-of-the-box vrij van uitgaand verkeer — de standaardinstellingen wijzen naar providers totdat u ze ergens anders naartoe wijst. Vraag ons naar de actuele lijst per functie; precies die uitsplitsing is wat deze vraag vereist.

Niet "een regio in uw eigen land" — een regio is nog steeds infrastructuur van de leverancier, valt onder de operationele controle van de leverancier en uiteindelijk onder de wettelijke jurisdictie van het land waar de leverancier is gevestigd. Vraag of u de software kunt installeren en uitvoeren op machines die u zelf beheert, in uw eigen omgeving, zonder een door de leverancier beheerde control plane en zonder een account bij de leverancier.

Waarom dit belangrijk is: als een deel van het gebruik van de software ervan afhankelijk is dat de cloud van de leverancier beschikbaar blijft en de leverancier bereid blijft die beschikbaar te stellen, haalt u daarmee de jurisdictie en beschikbaarheid van de leverancier uw eigen risicomodel binnen.

EpicStaff, eerlijk gezegd: het is zelfgehost — u installeert en draait het binnen infrastructuur die u beheert, met uw eigen modellen.

Code die u wel kunt lezen maar niet kunt aanpassen, is maar de helft van wat u in een gereguleerde omgeving nodig hebt. Vraag of de licentie u zowel toestaat de code te inspecteren als deze aan uw eigen omgeving aan te passen. Vraag ook wat er met uw bestaande implementatie gebeurt als de leverancier wordt overgenomen, van koers verandert of ermee stopt. Beschikbaarheid van de broncode, overdraagbaarheid van uw gegevens en het recht om de software te blijven gebruiken zijn afzonderlijke zaken, dus vraag naar elk ervan.

EpicStaff, eerlijk gezegd: met PolyForm Perimeter 1.0.0 kunt u de code lezen, uitvoeren en aanpassen voor uw eigen gebruik. De enige beperking is dat u de software niet mag gebruiken om een concurrerend product te bouwen — een beperking die is gericht op concurrenten, niet op u.

Vraag twee dingen. Ten eerste: hoe wordt de toegang tot agents, tools en gegevens geregeld — en wordt die toegang door het platform afgedwongen, of is het alleen een afspraak die in afzonderlijke agentdefinities staat? Ten tweede: wat wordt vastgelegd wanneer een agent een actie uitvoert en kunt u die registratie exporteren naar uw eigen systemen in een formaat dat u zelf bewaart?

EpicStaff, eerlijk gezegd: de source-available-codebase bevat op rollen gebaseerd toegangsbeheer, in de source-available tier, niet in de betaalde tier — u kunt dus precies lezen hoe toegang wordt geregeld. Sessies en interacties worden opgeslagen en uw gegevens kunnen worden geëxporteerd als JSON of CSV, zodat de registratie in uw eigen systemen staat in plaats van in een console van de leverancier.

Vraag waar uw gegevens fysiek staan zolang het platform draait en wat verwijderen daadwerkelijk betekent. Bij een gehost product is dit een beleidskwestie waarvoor u de leverancier moet vertrouwen. Wanneer u het platform zelf host, wordt het een infrastructuurkwestie die u rechtstreeks kunt beantwoorden: uw operationele gegevens staan in uw eigen datastore, op uw eigen machines. Waar de gegevens staan, kunt u dus zelf zien in plaats van dat u erop moet vertrouwen.

EpicStaff, eerlijk gezegd: het is zelfgehost, dus uw operationele gegevens staan in uw eigen datastore op uw eigen infrastructuur.

Stuur ze alle zeven vóór de demo. Niemand haalt een foutloze zeven — wij ook niet — en een leverancier die beweert van wel, is aan het verkopen in plaats van antwoorden te geven. "Niet van toepassing op onze architectuur" kan soms precies het juiste antwoord zijn. Het gaat erom of de leverancier kan uitleggen waarom.

Wat u eigenlijk meet, is hoe eerlijk de antwoorden zijn. Een leverancier die zijn eigen uitzonderingen benoemt — zoals wij bij vraag 3 hebben geprobeerd te doen — is gemakkelijker te vertrouwen dan een leverancier die beweert dat alles perfect is. Lees de broncode, host de software zelf en controleer de antwoorden zelf. Dat is precies waarom u vragen stelt waarop u het antwoord kunt verifiëren.