Dit ga je doen
Opdracht
Doel van het project
Het project De Virtuele Assistent schaalt een bewezen prototype uit Montferland (~30.000 gesprekken, 10-15% reductie telefonisch contact, livechat vervangen, 24/7 bereikbaarheid, ~80% inwonerstevredenheid) naar een universeel open-source bouwstenen-framework. Met dit framework kunnen organisaties kant-en-klare modules (orchestration, RAG, guardrails, CMS, evaluation) combineren om eigen AI-assistenten, bots of agents te bouwen.
Technologie: Azure OpenAI (EU/AVG-compliant), RAG (Qdrant vectorDB), orchestration framework, guardrails
Team: 6 FTE – AI Engineer (36u), Full-stack Developer (36u), Infrastructure Engineer (8u), PO/SM (24u), Conversation Designer (extern), Community Management (36u)
Fase: Van werkend prototype naar productie-ready framework
Jouw rol
De QA Engineer valideert de veiligheid, kwaliteit en compliance van een open-source bouwstenen-framework voor (semi)publiek gebruik. Het framework bestaat uit herbruikbare modules die organisaties kunnen combineren om verschillende assistenten te maken. De rol focust op risk-based testing van AI-gedrag (guardrails, hallucination detection, PII leakage), begeleiding van pilotorganisaties bij testen, en het interpreteren en rapporteren van testresultaten voor PO en development team.
Focus: 8 uur/week vraagt zeer zelfstandig werken met laser focus op highest risk testing (security, compliance, core functionality). Testing is primair handmatig (edge cases zoeken, adversarial prompts), met ruimte voor test automation waar efficiënt.
50% AI Quality Testing (~4u/week) – Guardrails validatie, hallucination detection, evaluation framework, knowledge base correctheid
25% Functional & Integration Testing (~2u/week) – End-to-end flows, regression testing, API/integration validatie
15% Security & Compliance Testing (~1u/week) – DPIA requirements, security checks, PII leakage preventie
10% Pilot Support & Rapportage (~1u/week) – Pilotorganisaties begeleiden, bug management, metrics tracking
Dit ben jij
- Een aantoonbare opleiding op minimaal hbo bachelor niveau
- Aantoonbare werkervaring met AI en/of LLM systemen
- Minimaal 1 jaar aantoonbare werkervaring bij een overheidsinstelling
- Aantoonbare werkervaring met projecten op het gebied van AI
- 6, Een aantoonbare afgeronde technische opleiding op minimaal hbo bachelor
niveau - Minimaal 2 jaar aantoonbare werkervaring met AI/LLM systemen (benoem
duidelijk in cv) - Minimaal 2 jaar aantoonbare werkervaring met projecten op het gebied van
AI( 40 punten)
Team TenMonks
Het proces
Dit verhaal gaat over jou
Iets voor jou?
Laat het ons weten!
Reageer op deze vacature via TenMonks en ons recruitment team neemt contact met je op om de match te verkennen.