Vacature: Sr Data Engineer 36 uur per week (2 FTE)

Dit ga je doen

voor de maximale duur van 2 jaar. De startdatum is z.s.m., maar niet later dan 2-11-2026.

Het Team:
Het Data Office team is onderdeel van de afdeling IT Services. Het team ontsluit en verwerkt
data van uiteenlopende databronnen, en stelt deze beschikbaar voor analyse doeleinden.
Verder is het team verantwoordelijk voor het ontwikkelen en beheren van CREDO. Dit is het
het centrale data- en analyticsplatform van de organisatie. Het platform is gebaseerd op een
lakehouse-architectuur in Azure met een medallion-structuur en een Delta Lake.
Het team werkt nauw samen met data analisten, data stewards en overige stakeholders om
ruwe data om te zetten in dataproducten die direct bijdragen aan de bedrijfsdoelen van de
RET. Binnen de Data Community waarborgen we de naleving van best practices, standaarden
en architectuurprincipes. We zorgen ervoor dat alle data oplossingen voldoen aan strikte
governance en hoge kwaliteitsnormen, zodat de volledige dataketen optimaal functioneert.

Als ervaren Data Engineer werk je binnen Data Office mee aan zowel de oplevering van
dataproducten als ook de doorontwikkeling en het beheer van CREDO. Momenteel werken
we aan de migratie naar Microsoft Fabric. Op de roadmap voor de komende tijd staan onder
andere het optimaliseren van performance, bewaken van datakwaliteit, monitoring en
kostenbeheersing. We bevinden ons in een omgeving die bruist van ambitie om veilig, slim
en verantwoord te werken volgens een metadata gedreven methodiek. Met jouw
technische expertise zet je schaalbare en efficiënte datapipelines op, waarmee de RET kan
blijven innoveren en groeien in een datagedreven toekomst.

Het profiel
Als Senior Data Engineer speel je een cruciale rol in de transformatie van RET naar een
volledig datagedreven organisatie. Wat deze rol echt bijzonder maakt, is de directe impact
die jouw werk heeft op de business, zoals de operationele efficiëntie van ons
vervoersnetwerk en een toekomstbestendig dataplatform.
Je draagt bij aan het ontwikkelen van datagedreven processen voor de verschillende
domeinen zoals assetmanagement, P&O en finance. Je gebruikt hierbij cloud-native
oplossingen en geautomatiseerde data quality control mogelijkheden binnen Microsoft
Fabric.
Je bent verantwoordelijk voor het implementeren en opleveren van oplossingen voor het
ontsluiten, verwerken en dimensioneel modelleren van gestructureerde en
ongestructureerde databronnen, conform de architectuur en designstandaarden van het
Data Office. Je werkt hierbij samen met de andere data engineers binnen het Data Office in
een agile werkomgeving. Daarnaast werk je nauw samen met de lead data platform
engineer en solution architect, data analisten en andere stakeholders binnen de business
units om innovatieve en robuuste oplossingen te realiseren die onze bedrijfsdoelen
ondersteunen.

Je bent gewend om zelfstandig en zorgvuldig op te leveren in een complexe omgeving, met
uiteenlopende bronsystemen, afhankelijkheden en stakeholders. Je brengt je kennis en
ervaring in waarmee we het CREDO platform verder kunnen doorontwikkelen met nieuwe
functionaliteit en verbeterde performance, je speelt een actieve rol in constructieve
discussies binnen Data Office en je deelt actief je kennis met de andere data engineers.

Eindresultaat:
De opdrachtnemer realiseert de verdere ontwikkeling van het operationele CREDO-
dataplatform door de implementatie van één of meer overeengekomen
roadmaponderdelen, passend binnen de doelarchitectuur en de doorontwikkeling van het
platform. Daarnaast omvat het resultaat werkende en gedocumenteerde datapipelines, het
opzetten van PySpark-notebooks en het ontwerpen en bouwen van datamodellen, ten
behoeve van de ontsluiting en verwerking van gestructureerde en ongestructureerde
databronnen.

De functie:
Je taken bestaan uit o.a.:
• Bijdragen aan het verder ontwikkelen van het CREDO dataplatform en
verantwoordelijk zijn voor de realisatie van een of meer speerpunten op de
roadmap.
• Implementeren van de migratie van CREDO in Synapse naar Microsoft Fabric, op
basis van de intermediate state en target state architecture, waaronder het
omzetten van bestaande pipelines, notebooks en datamodellen.
• Bouwen en onderhouden van schaalbare datapipelines en PySpark notebooks
binnen de medallion-structuur (bronze, silver en gold), met een focus op prestatie –
en kostenoptimalisatie.
• Implementeren van dimensionele datamodellen en het ontsluiten en verwerken van
gestructureerde en ongestructureerde databronnen, ook in complexe
bronlandschappen.
• Uitvoeren en implementeren van data quality framework en checks op datasets
gedurende de ETL/ELT-processen om de nauwkeurigheid en volledigheid te
waarborgen, en implementeren van data cleansing processen om bekende
datakwaliteitsproblemen op te lossen.
• Structureren en managen van SQL datawarehouse met een focus op Azure SQL
Database en Fabric Database.
• Samenwerken met data analisten om requirements te verzamelen en te vertalen
naar technische specificaties voor data-oplossingen.
• Implementeren en gebruiken van CI/CD-pijplijnen voor geautomatiseerde build, test
en deployment processen, inclusief integratie van quality en security controles.
• Analyseren en oplossen van complexe technische problemen, uitvoeren van code
reviews en zorgen voor documentatie en monitoring van de opgeleverde
oplossingen.
• Inbrengen en borgen van je expertise en ervaring binnen het Data Office team.
Coachen van andere data engineers om hen zowel individueel als het team naar een
hoger plan te trekken.

• Bijdragen aan het verder ontwikkelen van het CREDO dataplatform en
  verantwoordelijk zijn voor de realisatie van een of meer speerpunten op de
  roadmap.
• Implementeren van de migratie van CREDO in Synapse naar Microsoft Fabric, op
  basis van de intermediate state en target state architecture, waaronder het
  omzetten van bestaande pipelines, notebooks en datamodellen.
• Bouwen en onderhouden van schaalbare datapipelines en PySpark notebooks
  binnen de medallion-structuur (bronze, silver en gold), met een focus op prestatie –
  en kostenoptimalisatie.
• Implementeren van dimensionele datamodellen en het ontsluiten en verwerken van
  gestructureerde en ongestructureerde databronnen, ook in complexe
  bronlandschappen.
• Uitvoeren en implementeren van data quality framework en checks op datasets
  gedurende de ETL/ELT-processen om de nauwkeurigheid en volledigheid te
  waarborgen, en implementeren van data cleansing processen om bekende
  datakwaliteitsproblemen op te lossen.
• Structureren en managen van SQL datawarehouse met een focus op Azure SQL
  Database en Fabric Database.
• Samenwerken met data analisten om requirements te verzamelen en te vertalen
  naar technische specificaties voor data-oplossingen.
• Implementeren en gebruiken van CI/CD-pijplijnen voor geautomatiseerde build, test
  en deployment processen, inclusief integratie van quality en security controles.
• Analyseren en oplossen van complexe technische problemen, uitvoeren van code
  reviews en zorgen voor documentatie en monitoring van de opgeleverde
  oplossingen.
• Inbrengen en borgen van je expertise en ervaring binnen het Data Office team.
  Coachen van andere data engineers om hen zowel individueel als het team naar een
  hoger plan te trekken.
  Functie eisen
  Om succesvol te kunnen zijn is het belangrijk dat je proactief bent, en op mensen afstapt.
  De RET is op zoek naar een zelfstarter, die zijn weg snel weet te vinden in een nieuwe
  werkomgeving.
  Verder breng je mee:
• Je hebt meer dan 7 jaar werkervaring als data engineer met de ontwikkeling en het
  beheer van een dataplatform in de Azure Cloud en daarbij gewerkt met Microsoft
  Fabric en/of Azure Synapse Analytics.
• Je hebt ervaring met het implementeren van oplossingen in een complexe
  omgeving, met meerdere bronsystemen, afhankelijkheden en stakeholders. Ervaring
  met het dataproducten gebaseerd op SAP en SuccessFactors is een belangrijke pre.
• Je hebt ervaring met een lakehouse-architectuur en medallion principes.
• Je hebt uitgebreide kennis en minimaal 5 jaar ervaring met dimensioneel
  datamodellering, programmeren in SQL en werken met PySpark notebooks.
• Je hebt ervaring met het standaardiseren en automatiseren van workflows. Je hebt
  gewerkt met Azure DevOps, GIT en volgens CI/CD principes.
• Je hebt ervaring met het werken in een agile werkomgeving. Je bent gewend de lead
  te nemen bij het vertalen van epics naar features binnen squads en je weet hoe
  andere engineers te challengen bij het aanscherpen van user stories.
• Je beschikt over één of meerdere relevante Microsoft Azure-certificeringen, passend
  bij het vakgebied data engineering, zoals Azure Data Engineer Associate (DP-203).