Data Engineer

Dit ga je doen

1. Het ontwerpen en uitwerken van workflow- en orchestratiearchitectuur, in samenwerking met relevante inhoudelijke en technische stakeholders.
2. Het inrichten, configureren en standaardiseren van de workflow manager (Apache Airflow) ten behoeve van geautomatiseerde dataflows, in samenwerking met relevante inhoudelijke en technische stakeholders.
3. Het ontwikkelen van referentie-workflows en standaardpatronen, inclusief het opstellen van herbruikbare templates en richtlijnen voor de verdere ontwikkeling van dataflows.
4. Het bouwen en testen van de eerste set geautomatiseerde workflows inclusief in Python, gericht op betrouwbare, schaalbare en reproduceerbare verwerking van data binnen de cloudomgeving.
5. Het documenteren van technische ontwerpbeslissingen, waaronder solution designs en architectonische keuzes en het communiceren hiervan naar betrokken stakeholders.
6. Het inrichten van logging, monitoring en auditability van workflows, zodanig dat beheer, foutafhandeling en traceerbaarheid geborgd zijn.
7. Het opstellen van beheerhandleidingen voor het operationeel gebruik en onderhoud van de workflow-omgeving, in samenwerking met cloud- en datateams.
8. Het afstemmen van workflow- en data-requirements met inhoudelijke experts, en het vertalen hiervan naar robuuste geautomatiseerde processen.
9. Het bewaken van de kwaliteit, performance en betrouwbaarheid van workflows, onder meer door het uitvoeren van reviews, het toepassen van kwaliteitsstandaarden en het identificeren en oplossen van knelpunten.
10. Het voorbereiden van de workflow-omgeving op toekomstige uitbreidingen, zodat nieuwe datastromen en projecten efficiënt kunnen worden aangesloten.

Achtergrond opdracht

In 2026 lopen een aantal projecten ter vervanging van bestaande dataverwerkingstools en in de verbetering van ons standaard surveillance data platform. in dit jaar is de bedoeling dat in korte tijd een aantal onderdelen wordeen gerealiseerd zodat daarna geleidelijk verder aan de implementatie kan worden gewerkt. het grotere doel is het verder standaardiseren van datastromen die binnen de publieke gezondheidszorg door het RIVM worden gebouwd, zowel voor de eigen taken als om informatie te delen met de partners in de publieke gezondheidszorg. De data engineer met name werken binnen het team dat in 2026 deze veranderingen gaat realiseren. Onderdeel is kennisoverdracht, zodat aan het eind van de opdrachttijd alle relevante kennis is overgedragen.