Eén beveiligde toegangspoort naar al jouw AI-modellen, lokaal en in de cloud. De gateway herkent automatisch gevoelige data, maskeert ze, blokkeert prompt-injecties, stuurt elke vraag naar het juiste model en houdt van elke request een auditlog bij. Jouw teams gebruiken gewoon AI. Jouw data blijft binnen de muren.
De pijplijn
Elke request loopt door vijf automatische controles vóór het een model bereikt. Dit is geen stappendiagram uit een brochure: het is de exacte volgorde waarin de code ze uitvoert.
E-mails, telefoonnummers, kaartnummers, wachtwoorden, API-sleutels, publieke IP-adressen, herkend met regex-patronen én semantische trefwoorden. Treffer? De vraag gaat verplicht naar een lokaal model, wat je ook had gevraagd.
"Negeer alle vorige instructies" en vrienden daarvan worden herkend in gebruikersberichten. Zo'n aanval wordt nooit doorgestuurd: het request wordt meteen veilig lokaal afgehandeld.
Elke vraag komt bij het juiste model terecht: expliciete tags, configureerbare regex-routes, en, als niets matcht, semantische overeenkomst op embeddings. Jouw regels, live aanpasbaar, zonder herstart.
Gevoelige gegevens worden in de prompt zelf gemaskeerd vóór verzending: [EMAIL], [PHONE], [CRED]. Interne IP-adressen blijven begrijpelijk, zodat technische vragen technisch leesbaar blijven.
Elke request krijgt een uniek ID (of erft jouw X-Request-ID). Gerouteerd model, classificatie, latentie, tokenverbruik en gemaskeerde tekst: volledig naslaanbaar, append-only.
Verdediging in diepte, ingebouwd: stel dat een route ondanks alles naar een cloudmodel zou wijzen en de vraag bevat wél gevoelige data, dan wordt het request op het laatste moment gedwongen terug naar een lokaal model. Gevoelige content bereikt de cloud gewoonweg niet. Punt.
Functies
Eén endpoint naar al je modellen, met een beveiligingslaag die standaard aan staat, niet als optie.
Jouw teams, scripts en agents praten met één OpenAI-compatibel adres. Achter die ene deur staan jouw lokale modellen (Ollama) en, indien jij dat toelaat, zorgvuldig gekozen cloudmodellen. Verander van model? Dat is één regel in de configuratie; geen enkele client merkt er iets van.
Elke vraag automatisch naar het beste model: coding-vragen naar je coder-model, schrijfwerk naar je schrijfmodel, gevoelige content altijd lokaal.
Kredietkaarten, e-mails, telefoons, sleutels, wachtwoorden, publieke IP's, allemaal herkend en gemaskeerd, zowel in de prompt als in de logs.
Jailbreak-pogingen en "ignore all instructions"-trucjes worden herkend en buiten de cloud gehouden, automatisch, zonder dat je er iets voor doet.
Een model geeft geel of valt weg? De gateway schakelt automatisch over naar je reserveketen, met retries en cooldowns. Jouw app merkt er niets van.
Append-only log van elke call: gemaskeerde input & output, gerouteerd model, waarom die route, latentie en tokenverbruik, alles correleerbaar via request-ID.
Een detections-engine die LLM- en authenticatielog live in de gaten houdt. Definieer je eigen use-cases met een eenvoudige match-DSL; alarms gaan naar de UI én naar jouw webhook.
Zero-dependency authenticatie, gebouwd zoals het hoort: scrypt-hashing, HMAC-sessies, optionele TOTP 2FA, service keys voor agents, en lockout met exponentiële backoff.
Live monitor, playground om routes te testen vóór je ze uitrolt, verbruiksdashboard, regels-editor met classificatie-test, geen externe dienst, draait gewoon bij jou.
Onder de motorkap
Elke gebeurtenis wordt append-only weggeschreven, uitleesbaar met elke tool die je al hebt. Dit is een echte logregel, zo komt het binnen:
Merk op: de klant vroeg het snelle cloudmodel. De gateway herkende de gevoelige gegevens, maskeerde ze in het log, en stuurde de vraag verplicht naar het lokale privémodel. De klant merkte er niets van, behalve dat het gewoon werkte.
Specificaties
| API-protocol | OpenAI-compatibel (chat-completions, streaming) |
| Eén endpoint | Jouw hele modelpark achter één URL |
| Authenticatie | Master key + service keys per agent/app/script |
| Request-ID-tracing | Erf X-Request-ID of automatisch |
| Backends | Ollama (lokaal) + optioneel doorgelaten cloudmodellen |
| Routeringslagen | PII → tag → regex-regels → semantisch (embeddings) → standaard |
| Semantic router | Lokale embeddings, drempel & voorbeelden in de UI |
| Failover | Per-model fallbackketens, retries, cooldown |
| PII | Regex + trefwoorden + telefoon + publieke IP's; masking in prompts én logs |
| Injectie | Herkende jailbreak-patronen → gedwongen lokaal |
| Defense in depth | Gevoelig + cloud-route → laatste redmiddel: lokaal model |
| Auth | Scrypt + HMAC-sessies + optionele TOTP + lockout-backoff |
| Dashboard | Regels-editor, live monitor, playground, verbruik, SIEM |
| Live-reload | Firewallregels & SIEM-use-cases zonder herstart |
| Logformaat | Append-only JSONL, met request-ID-correlatie |
| Webhooks | SIEM-alerts naar jouw eigen endpoint |
| Installatie | Docker Compose, helemaal op jouw hardware |
| Kerncomponenten | LiteLLM-proxy met routing-hook + zero-dependency Node-UI |
| Afhankelijkheden (UI) | Geen. Geen npm-packages, geen CDN's |
| Cache | Schijfcache + semantische route-cache |
| Installatie op locatie | Wij zetten het op, in heel België |
| Training | Jouw team leert de gateway zelf beheren |
| Ondersteuning | Optioneel beheersplan, of gewoon zelfstandig |
| Eigendom | De code draait bij jou. Punt. |
In de live demo sturen we jouw echte testvragen door de gateway, zodat je met eigen ogen ziet hoe PII wordt herkend, gemaskeerd en lokaal gehouden. Vrijblijvend.
Welke modellen gebruik je vandaag, en waar loopt het op vast met privacy?
Jouw routingregels, jouw modellen, jouw gebruikers, in een concreet voorstel.
Op jouw hardware, op jouw locatie. Getest met jouw echte use-cases.
Je leert de gateway zelf beheren; we blijven een oproep verwijderd.