Senior Data Engineer

Ministerie van Sociale Zaken

Ministerie van Sociale Zaken
€5.988 — €6.843 / maand
12 maanden
WO
Nog 3 dagen

Dit ga je doen

Opdrachtgever
Het ministerie van Sociale Zaken en Werkgelegenheid (SZW) werkt aan eerlijk, gezond en veilig werk in Nederland. Iedereen moet de kans krijgen om mee te doen en zich te ontwikkelen. De directie CIO‐office, Informatie voor bedrijfsvoering en beleid en Integrale Veiligheid (CIV) draagt bij aan het veilig en beheerst omgaan met IV en helpt SZW de kansen van nieuwe technologie zoals data en algoritmen te benutten, binnen de kaders voor privacy en informatiebeveiliging. De sfeer binnen de afdeling is collegiaal en informeel, met veel aandacht voor vakkennis en persoonlijke ontwikkeling.

Project
We zoeken een senior Data Engineer die niet alleen technisch sterk is, maar ook goed past binnen de organisatie en het team. Binnen het ministerie van Sociale Zaken en Werkgelegenheid (SZW) wordt gewerkt aan meerdere data-projecten en applicaties die gebruik willen maken van publiek beschikbare databronnen. Voorbeelden hiervan zijn data van open.overheid.nl, de Tweede Kamer en vergelijkbare openbare bronnen. Binnen CIV werkt het Data & AI Competence Center (DACC) aan een centrale voorziening op het Cloud Data Platform (CDP), een Azure-omgeving met onder meer Databricks. Doel is om publieke databronnen centraal te verbinden, op te werken en beschikbaar te maken voor hergebruik door andere teams en toepassingen. Denk daarbij aan dashboards, analyses, AI-toepassingen en andere data-producten. Omdat meerdere initiatieven binnen SZW/NLA gebruik willen maken van dezelfde publieke data, willen we de ontsluiting, bewerking en beschikbaarstelling niet per project apart organiseren, maar centraal en herhaalbaar inrichten. Het gaat nadrukkelijk om een robuuste en onderhoudbare oplossing, geen tijdelijke of ad-hoc inrichting. Hiervoor zoeken we senior versterking binnen het DACC.

Opdrachtomschrijving
De kandidaat draait mee in het DACC en realiseert hands-on een centrale, herbruikbare en beheersbare inrichting op het Cloud Data Platform voor het ontsluiten, verrijken en beschikbaar maken van publieke databronnen voor intern hergebruik binnen SZW/NLA. De kandidaat bouwt hiervoor de benodigde data‐ingestie- en transformatiepipelines, helpt de technische basis neer te zetten voor volgende databronnen en afnemers, en draagt bij aan keuzes rond kwaliteit, beheer en schaalbaarheid. In grote lijnen gaat het om:
Het inventariseren van relevante publieke databronnen, hun technische ontsluitingsmogelijkheden en de behoeften van afnemende teams en applicaties
Het ontwerpen en realiseren van robuuste data-ingestie voor publieke bronnen naar het Cloud Data Platform, onder meer voor API-gebaseerde en andere open databronnen
Het opschonen, transformeren, verrijken en structureren van data, zodat deze bruikbaar en consistent beschikbaar komt voor hergebruik
Het inrichten van herhaalbare data-pipelines in Azure/Databricks, inclusief foutafhandeling, logging, monitoring en herstelbaarheid
Het beschikbaar maken van datasets voor afnemers in een vorm die past bij verschillende gebruiksscenario’s, zoals analyses, dashboards, AI-toepassingen en verdere dataverwerking
Het bijdragen aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer, zodat volgende databronnen sneller en consistenter aangesloten kunnen worden
Het afstemmen met betrokken stakeholders, zoals het DACC, data-afnemers, architectuur, platformbeheer en andere betrokken teams binnen CIV en daarbuiten
Het mede bepalen van technische keuzes en richting binnen het team, en het overdragen van kennis aan teamleden.
Afbakening: de opdracht richt zich op het centraal ontsluiten en van publieke databronnen binnen het Cloud Data Platform voor intern hergebruik binnen SZW. De exacte invulling en prioritering wordt per sprint of iteratie gezamenlijk met het team bepaald.

  • Het inventariseren van relevante publieke databronnen, hun technische ontsluitingsmogelijkheden en de behoeften van afnemende teams en applicaties
  • Het ontwerpen en realiseren van robuuste data-ingestie voor publieke bronnen naar het Cloud Data Platform, onder meer voor API-gebaseerde en andere open databronnen
  • Het opschonen, transformeren, verrijken en structureren van data, zodat deze bruikbaar en consistent beschikbaar komt voor hergebruik
  • Het inrichten van herhaalbare data-pipelines in Azure/Databricks, inclusief foutafhandeling, logging, monitoring en herstelbaarheid
  • Het beschikbaar maken van datasets voor afnemers in een vorm die past bij verschillende gebruiksscenario’s, zoals analyses, dashboards, AI-toepassingen en verdere dataverwerking
  • Het bijdragen aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer, zodat volgende databronnen sneller en consistenter aangesloten kunnen worden
  • Het afstemmen met betrokken stakeholders, zoals het DACC, data-afnemers, architectuur, platformbeheer en andere betrokken teams binnen CIV en daarbuiten
  • Het mede bepalen van technische keuzes en richting binnen het team, en het overdragen van kennis aan teamleden.

Dit ben jij

  • Minimaal 5 jaar ervaring als Data Engineer of in een vergelijkbare rol
  • Aantoonbare ervaring met het ontwerpen en bouwen van data-pipelines en
    data-integraties in een cloudomgeving, bij voorkeur Microsoft Azure
  • Ervaring met Databricks, Spark, Python en SQL
  • Ervaring met het ontsluiten en verwerken van data uit externe bronnen,
    zoals REST API’s, open datasets en bestanden in verschillende formaten
  • Ervaring met het opschonen, transformeren en modelleren van data voor
    hergebruik door verschillende afnemers
  • Ervaring met het inrichten van robuuste, onderhoudbare en herhaalbare
    oplossingen, inclusief monitoring, foutafhandeling en documentatie
  • Kennis van data-architectuur, datamodellering en datakwaliteit
  • Ervaring met werken in een Agile/sprintteam
  • Kandidaat beschikt over WO werk- en denkniveau
  • Kandidaat heeft minimaal 5 jaar werkervaring als Data Engineer of in een
    vergelijkbare rol
  • Kandidaat beschikt over kennis van data-engineering in Microsoft Azure,
    waaronder het ontwerpen en/of bouwen en/of beheren van dataoplossingen
    en/of het werken met gangbare programmeer- en querytalen
  • Kandidaat heeft ervaring met het ontsluiten en/of combineren en/of
    verwerken van data uit externe bronnen binnen een Azure-omgeving ( zoals
    via API’s, databestanden en andere gegevensbronnen in verschillende
    formaten)
  • Ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure
    Storage, en Data Factory
  • Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen
    voor data opwerking
  • Ervaring met publieke of overheidsdatabronnen, zoals open.overheid.nl,
    parlementaire data of andere open data-voorzieningen
  • Ervaring met metadata, lineage en documentatie van datasets
  • Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen
    aan beheer, beveiliging en herbruikbaarheid
  • Mate waarin de kandidaat kennis van Azure Databricks, Spark, Python, SQL en
    het bouwen van robuuste, herhaalbare data-pipelines, inclusief monitoring,
    foutafhandeling en beheerbaarheid
  • Mate waarin de kandidaat ervaring heeft met het ontsluiten, opschonen,
    transformeren en beschikbaar maken van publieke of externe databronnen voor
    meervoudig intern gebruik, bij voorkeur in een overheidscontext of
    vergelijkbare complexe omgeving
  • Mate van ervaring en/of affiniteit met de organisatie van de opdrachtgever

Het proces

Dit verhaal gaat over jou

01

De zoektocht – waar begin je?

Elke maand ontvangen we honderden vacatures. Die publiceren we op onze website, maar we blijven niet achteroverleunen. Ons team gaat actief op zoek naar de juiste match. Misschien vind jij ons, of wij jou – hoe dan ook: we maken snel contact.

02

De kennismaking – een goed gesprek, geen kruisverhoor

Jij ziet een interessante opdracht of wij denken dat er een goed bij je past. We bellen om je beter te leren kennen en de opdracht door te nemen. Wat vind jij belangrijk? Wat zijn je ambities? We houden het persoonlijk én to the point. Zo verkennen we samen wat de juiste match voor je is en wat daarmee ook het beste voor de klant is.

Gemeente Noordoostpolder vacatures

03

Afspraken maken – helder en zonder kleine lettertjes

Past de opdracht bij jouw expertise? Top. We bespreken de voorwaarden, je gewenste salaris en hoe de opdracht eruitziet. Omdat het om overheidsvacatures gaat, kunnen de eisen complex zijn en het proces tijdrovend – maar daar helpen wij je soepel doorheen.

04

Introductie – wij regelen de papierwinkel

Je levert een bijgewerkt cv, motivatie en eventuele referenties aan. Wij stellen de introductie samen, volledig afgestemd op de wensen van de opdrachtgever. Alles wat we bespreken komt daarin terug – eerlijk, transparant en geen verrassingen.

05

Even geduld – maar we houden je op de hoogte

Overheidsprocessen kunnen soms traag zijn. Wij geven je vooraf een realistische tijdlijn en houden je tussendoor op de hoogte. Geen radiostilte, maar duidelijke updates.

06

Op gesprek – goed voorbereid op pad

Word je uitgenodigd? Mooi! We plannen samen het gesprek en bereiden het grondig voor. We geven je tips & tricks en duiken in de inhoud van de opdracht. Het doel: jouw kansen maximaliseren.

07

Go of No-Go – samen evalueren

Na het gesprek evalueren we hoe het ging. Wil jij door en ziet de opdrachtgever het ook zitten? Dan koppelen we je aan één van onze uitzendpartners. Zij regelen het uitzendcontract. Is het toch geen match? Dan halen we feedback op en zoeken we verder.

08

Aan de slag – alles geregeld, jij kunt starten

Bij een succesvolle bemiddeling leggen we alle afspraken vast in een overeenkomst. Je uitzendpartner regelt het contract, de administratie en zorgt ervoor dat je netjes en op tijd betaald wordt. Jij hoeft alleen maar te focussen op je werk (en een taart sturen mag altijd 😉).

09

Service – ook ná de start zijn we er voor je

Zolang je aan de opdracht werkt, blijven wij je aanspreekpunt. Ook kan je regelmatig uitnodigingen van ons verwachten voor kleine events en borrels bij ons op kantoor. Heb je vragen over je opdracht, verlenging of indexaties? Eén belletje en we helpen je verder. Is de opdracht afgerond? Dan zoeken we met plezier naar een volgende uitdaging voor je.

Iets voor jou?

Laat het ons weten!

Reageer op deze vacature via TenMonks en ons recruitment team neemt contact met je op om de match te verkennen.

Iets voor jou?

Reageer dan vandaag nog!

Feedback