Data Engineer

Sentior, Ltd.; Huis ter Heide; Hybrid; EUR 70,000 - 95,000; Full time

Job summary

Koninklijke Marechaussee zoekt Data Engineers om het bestaande dataplatform naar Olympus te migreren en de dataomgeving verder te ontwikkelen. Je bouwt datapipelines met Python, migreert databronnen en levert een schaalbaar cloudgebaseerd framework.

Je werkt in een SAFe-omgeving met CI/CD/DevOps en gebruikt Qlik voor dashboards. Ervaring met SQL Server, S3 en open-source LLMs is gewenst; aanwezigheid op maandag en woensdag op locatie in Huis ter Heide is vereist.

Qualifications

• Aantoonbare ervaring met het bouwen van datapipelines met Python.
• Aantoonbare ervaring met datamigraties van een bestaand naar een nieuw dataplatform.
• Beschikbaarheid op maandag op locatie in Huis ter Heide.

Responsibilities

• Migreren van bestaande databronnen naar het nieuwe platform.
• Ontwikkelen van datapipelines met Python.
• Implementeren en verbeteren van CI/CD en DevOps-processen.
• Werken volgens Agile / SAFe-praktijken in een SAFe-team.

Skills

Python

Data migratie

Agile / SAFe

CI/CD

DevOps

Open-source LLMs

Datamanagement

Cloud-omgevingen

Tools

SQL Server

Qlik

S3

Cloud

Open-source LLMs

Job description

## De opdrachtAchtergrond opdrachtDe Koninklijke Marechaussee (KMar) werkt aan de ontwikkeling en ingebruikname van een nieuw dataplatform.Het huidige dataplatform wordt beheerd door JIVC. Het nieuwe platform komt onder het eigen beheer van de KMar te vallen. Hiermee krijgt de organisatie meer verantwoordelijkheid voor de ontwikkeling, het beheer en de doorontwikkeling van haar dataomgeving.Om deze transitie te realiseren, wordt de dataorganisatie verder opgebouwd. Binnen deze organisatie zijn onder andere data engineers, datamodelleurs (CDO) en scrummasters actief.Op korte termijn worden vier data engineers uitgevraagd.De KMar staat voor een grootschalige transitie van een door JIVC beheerd dataplatform naar een eigen, cloudgebaseerde dataomgeving.De migratie van bestaande databronnen vormt de kern van deze operatie. De organisatie werkt met vier datateams, die elk worden versterkt met een data engineer.De gewenste afronding van de migratie ligt eind 2027, met een mogelijke doorloop tot eind 2028.OpdrachtDe vier gezochte data engineers worden primair ingezet voor de migratie van het bestaande dataplatform naar de nieuwe omgeving.De belangrijkste opdracht voor de data engineers is het migreren van de bestaande data naar het nieuwe platform.Dit betreft een omvangrijke migratie waarbij verschillende databronnen en operationele processen betrokken zijn.De KMar migreert naar een nieuw dataplatform, genaamd Olympus (naam nog te verifiëren).Het nieuwe platform is gebaseerd op cloudtechnologie, maar wordt binnen het eigen datacenter van de organisatie gehost.Het nieuwe dataplatform moet de basis vormen voor verdere datagedreven ontwikkeling binnen de KMar.Huidige omgeving:- Database: Microsoft SQL Server.- Rapportage en dashboards: Qlik.- Het huidige dataplatform wordt beheerd binnen JIVC.Nieuwe omgeving:- Python: wordt gebruikt voor het ontwikkelen van datapipelines.- S3-objectstorage: voor de opslag van data.- Cloudtechnologie: toegepast binnen de eigen infrastructuur.- Open-source LLM's: onderdeel van de technische mogelijkheden.- CI/CD en DevOps: worden toegepast bij ontwikkeling en beheer.- Qlik: blijft behouden als rapportage- en dashboardtool.Belangrijkste databronnen en systemen:Handhaving en incidentregistratie- Data over handhavingsincidenten.- Onderzoeksgegevens en gerelateerde registraties.- Gegevens die vanuit incidentregistraties worden gebruikt voor verder onderzoek.Summ-IT (te verifiëren)- Systeem voor opsporingsonderzoeken.- Wordt gebruikt om incidenten en onderzoeken te verwerken.GPBS- Gegevens gerelateerd aan personen die zich melden bij grenspassages, waaronder Schiphol.- Er is een koppeling met ACE voor controles op eventuele signaleringen.ACE- Wordt gebruikt voor het controleren of er signaleringen op personen aanwezig zijn.VBS- Ondersteunt processen binnen het grensdomein.- Registratie van grenscontroles en incidenten.Bedrijfsvoeringsdata- Interne organisatiegegevens.- Medewerkersgegevens en aanverwante bedrijfsvoeringsinformatie.Organisatie en teamstructuur:- Aantal datateams: 4- Data engineers: 1 per team- Scrummasters: 0,5 FTE per team- Totaal scrummastercapaciteit: 2 FTE- Werkwijze: Agile / SAFe- Ontwikkelmethodiek: DevOps en CI/CDDaarnaast is er een team Datagedreven Werken, dat verantwoordelijk is voor de ontwikkeling van het eigen dataplatform.De organisatie werkt volgens het SAFe-framework. Er heeft inmiddels een gesprek plaatsgevonden met een kandidaat die mogelijk de rol van Release Train Engineer (RTE) gaat vervullen.Eisen- Kandidaat heeft aantoonbare ervaring met het bouwen van datapipelines met Python.- Kandidaat heeft aantoonbare ervaring met datamigraties van een bestaand naar een nieuw dataplatform.- Kandidaat kan toelichten welke werkzaamheden hij/zij persoonlijk heeft uitgevoerd binnen eerdere datamigraties en hoe dit technisch is gerealiseerd.- Kandidaat is beschikbaar op maandag op locatie in Huis ter Heide.Wensen- Kandidaat heeft minimaal één jaar aantoonbaar datapipelines gebouwd met Python.- Kandidaat heeft eerder data gemigreerd vanuit een bestaande dataomgeving naar een nieuw dataplatform.- Kandidaat heeft ervaring met SQL Server.- Kandidaat heeft ervaring met cloudgebaseerde dataomgevingen.- Kandidaat heeft ervaring met S3-objectstorage.- Kandidaat heeft ervaring met CI/CD en DevOps.- Kandidaat heeft ervaring met migratie van databronnen en datastromen.- Kandidaat heeft ervaring met werken binnen Agile / SAFe-teams.- Kandidaat heeft ervaring met Qlik.- Kandidaat heeft kennis van of ervaring met open-source LLM's.- Kandidaat hoeft niet uitsluitend ervaring te hebben met een identiek platform. Vooral belangrijk is dat de kandidaat kan uitleggen hoe hij of zij eerder data heeft gemigreerd, welke technische keuzes daarbij zijn gemaakt en welke werkzaamheden zelfstandig zijn uitgevoerd.Inzetgegevens- Organisatie: Koninklijke Marechaussee (KMar)- Rol: Data Engineer- Aantal posities: 4- Locatie: Huis ter Heide- Maandag: aanwezigheid op locatie- Woensdag: aanwezigheid op locatie- Overige dagen: mogelijkheden voor hybride werken- Streefdatum migratie: eind 2027- Realistische uitloopplanning: eind 2028- Huidige omgeving: Microsoft SQL Server, Qlik, beheer binnen JIVC- Nieuwe omgeving: Olympus (naam nog te verifiëren), Python, S3-objectstorage, Cloudtechnologie, Open-source LLM's, CI/CD, DevOps, Qlik- Werkwijze: Agile / SAFe- Ontwikkelmethodiek: DevOps en CI/CD- Teamstructuur: 4 datateams, 1 data engineer per team