Senior Data Engineer

Overheidzzp; Den Haag; On-site; EUR 85,000 - 110,000; Full time

Job summary

Overheidzzp zoekt een Senior Data Engineer die sterke Azure/Databricks-ervaring combineert met een passie voor publieke data. Je werkt aan het ontwerpen en bouwen van state-of-the-art data pipelines voor het Cloud Data Platform van SZW/CIV, gericht op ontsluiten, verrijken en beschikbaar stellen van open data voor interne hergebruik.

Je werkt nauw samen met data-afnemers en platformteams en draagt bij aan kwaliteit, beheer en schaalbaarheid.

Qualifications

• WO-werk- en denkniveau vereist
• Minimaal 5 jaar ervaring als Data Engineer of vergelijkbare rol
• Kennis van Azure/Data Platform en open datapronnen

Responsibilities

• Inventariseren van relevante publieke databronnen en behoeften van afnemende teams
• Ontwerpen en realiseren van robuuste data-ingestie voor publieke bronnen naar het Cloud Data Platform
• Opschonen, transformeren en modelleren van data voor hergebruik door meerdere afnemers
• Inrichten van herhaalbare data-pipelines in Azure/Databricks met monitoring en foutafhandeling
• Datasets beschikbaar maken voor analyses, dashboards en AI-toepassingen
• Bijdragen aan afspraken over datamodellering, metadata en documentatie
• Afstemmen met stakeholders en teamleden, en kennisoverdracht bevorderen

Job description

Over de functie

In het kort: Je gaat binnen het Data & AI Competence Center centrale, herbruikbare datapipelines in Azure/Databricks ontwerpen en bouwen om publieke databronnen te ontsluiten, transformeren en beschikbaar te maken voor analyses, dashboards en AI-toepassingen.

Opdrachtgever

Het ministerie van Sociale Zaken en Werkgelegenheid (SZW) werkt aan eerlijk, gezond en veilig werk in Nederland. Iedereen moet de kans krijgen om mee te doen en zich te ontwikkelen. De directie CIO-office, Informatie voor bedrijfsvoering en beleid en Integrale Veiligheid (CIV) draagt bij aan het veilig en beheerst omgaan met IV en helpt SZW de kansen van nieuwe technologie zoals data en algoritmen te benutten, binnen de kaders voor privacy en informatiebeveiliging. De sfeer binnen de afdeling is collegiaal en informeel, met veel aandacht voor vakkennis en persoonlijke ontwikkeling.

Project

We zoeken een senior Data Engineer die niet alleen technisch sterk is, maar ook goed past binnen de organisatie en het team. Binnen het ministerie van Sociale Zaken en Werkgelegenheid (SZW) wordt gewerkt aan meerdere data-projecten en applicaties die gebruik willen maken van publiek beschikbare databronnen. Voorbeelden hiervan zijn data van open.overheid.nl, de Tweede Kamer en vergelijkbare openbare bronnen. Binnen CIV werkt het Data & AI Competence Center (DACC) aan een centrale voorziening op het Cloud Data Platform (CDP), een Azure-omgeving met onder meer Databricks. Doel is om publieke databronnen centraal te verbinden, op te werken en beschikbaar te maken voor hergebruik door andere teams en toepassingen. Denk daarbij aan dashboards, analyses, AI-toepassingen en andere data-producten. Omdat meerdere initiatieven binnen SZW/NLA gebruik willen maken van dezelfde publieke data, willen we de ontsluiting, bewerking en beschikbaarstelling niet per project apart organiseren, maar centraal en herhaalbaar inrichten. Het gaat nadrukkelijk om een robuuste en onderhoudbare oplossing, geen tijdelijke of ad-hoc inrichting. Hiervoor zoeken we senior versterking binnen het DACC.

Opdrachtomschrijving

De Kandidaat Draait Mee In Het DACC En Realiseert Hands-on Een Centrale, Herbruikbare En Beheersbare Inrichting Op Het Cloud Data Platform Voor Het Ontsluiten, Verrijken En Beschikbaar Maken Van Publieke Databronnen Voor Intern Hergebruik Binnen SZW/NLA. De Kandidaat Bouwt Hiervoor De Benodigde Data-ingestie- En Transformatiepipelines, Helpt De Technische Basis Neer Te Zetten Voor Volgende Databronnen En Afnemers, En Draagt Bij Aan Keuzes Rond Kwaliteit, Beheer En Schaalbaarheid. In Grote Lijnen Gaat Het Om:

• Het inventariseren van relevante publieke databronnen, hun technische ontsluitingsmogelijkheden en de behoeften van afnemende teams en applicaties
• Het ontwerpen en realiseren van robuuste data-ingestie voor publieke bronnen naar het Cloud Data Platform, onder meer voor API-gebaseerde en andere open databronnen
• Het opschonen, transformeren, verrijken en structureren van data, zodat deze bruikbaar en consistent beschikbaar komt voor hergebruik
• Het inrichten van herhaalbare data-pipelines in Azure/Databricks, inclusief foutafhandeling, logging, monitoring en herstelbaarheid
• Het beschikbaar maken van datasets voor afnemers in een vorm die past bij verschillende gebruiksscenario’s, zoals analyses, dashboards, AI-toepassingen en verdere dataverwerking
• Het bijdragen aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer, zodat volgende databronnen sneller en consistenter aangesloten kunnen worden
• Het afstemmen met betrokken stakeholders, zoals het DACC, data-afnemers, architectuur, platformbeheer en andere betrokken teams binnen CIV en daarbuiten
• Het mede bepalen van technische keuzes en richting binnen het team, en het overdragen van kennis aan teamleden

Afbakening: de opdracht richt zich op het centraal ontsluiten en van publieke databronnen binnen het Cloud Data Platform voor intern hergebruik binnen SZW. De exacte invulling en prioritering wordt per sprint of iteratie gezamenlijk met het team bepaald.

Kennis, ervaring, competenties en vaardigheden

• Minimaal WO-werk- en denkniveau, bij voorkeur in een relevante richting zoals informatica, data engineering of software engineering.
• Minimaal 5 jaar ervaring als Data Engineer of in een vergelijkbare rol.
• Aantoonbare ervaring met het ontwerpen en bouwen van data-pipelines en data-integraties in een cloudomgeving, bij voorkeur Microsoft Azure.
• Ervaring met Databricks, Spark, Python en SQL.
• Ervaring met het ontsluiten en verwerken van data uit externe bronnen, zoals REST API’s, open datasets en bestanden in verschillende formaten.
• Ervaring met het opschonen, transformeren en modelleren van data voor hergebruik door verschillende afnemers.
• Ervaring met het inrichten van robuuste, onderhoudbare en herhaalbare oplossingen, inclusief monitoring, foutafhandeling en documentatie.
• Kennis van data-architectuur, datamodellering en datakwaliteit.
• Ervaring met werken in een Agile/sprintteam.
• In staat om zelfstandig technische vraagstukken op te pakken en tegelijk goed samen te werken met collega’s uit verschillende disciplines.
• Goede communicatieve vaardigheden en in staat om technische keuzes helder toe te lichten aan teamleden en stakeholders.

Pré’s

• Ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure Storage, en Data Factory.
• Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen voor data opwerking.
• Ervaring met publieke of overheidsdatabronnen, zoals open.overheid.nl, parlementaire data of andere open data-voorzieningen.
• Ervaring met metadata, lineage en documentatie van datasets.
• Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid.

Over de klant

Het ministerie van Sociale Zaken en Werkgelegenheid (SZW) werkt aan een sociaal en economisch krachtig Nederland in Europa, met werk en bestaanszekerheid voor iedereen. De bewindslieden zijn onder meer verantwoordelijk voor het arbeidsmarktbeleid, inclusief migratie en vrij verkeer van werknemers, uitkeringen en re-integratie, inkomensbeleid, het combineren van arbeid en zorg, arbeidsomstandighedenbeleid en inspectie daarop. Er werken ongeveer 2200 medewerkers bij het ministerie van SZW.

Locatie

Den Haag

Eisen

• Dienstverband: Detachering
• CV aanleveren in Word (Let op! maximaal 7 pagina's)
• Motiveer waarom jij aan de eisen voldoet
• Puntsgewijze argumentatie voor zowel wensen als eisen
• Geen prijs vermelden in het CV
• CV zonder foto en adres, wel met woonplaats aanleveren
• Geen geboortedatum
• Geen persoonsgegevens alleen voor- & achternaam + woonplaats
• Kandidaat beschikt over WO werk- en denkniveau
• Kandidaat heeft minimaal 5 jaar werkervaring als Data Engineer of in een vergelijkbare rol.
• Kandidaat beschikt over kennis van data-engineering in Microsoft Azure, waaronder het ontwerpen en/of bouwen en/of beheren van dataoplossingen en/of het werken met gangbare programmeer- en querytalen.
• Kandidaat heeft ervaring met het ontsluiten en/of combineren en/of verwerken van data uit externe bronnen binnen een Azure-omgeving ( zoals via API’s, databestanden en andere gegevensbronnen in verschillende formaten)

Wensen

• Mate waarin de kandidaat kennis van Azure Databricks, Spark, Python, SQL en het bouwen van robuuste, herhaalbare data-pipelines, inclusief monitoring, foutafhandeling en beheerbaarheid.
• Mate waarin de kandidaat ervaring heeft met het ontsluiten, opschonen, transformeren en beschikbaar maken van publieke of externe databronnen voor meervoudig intern gebruik, bij voorkeur in een overheidscontext of vergelijkbare complexe omgeving.
• Mate waarin de kandidaat beschikt over de gevraagde competenties en senioriteit, zoals zelfstandig complexe data-vraagstukken oppakken, samenwerken met verschillende stakeholders, technisch richting geven en kennis overdragen aan teamleden (toetsbaar in cv, motivatie en/of gesprek).
• Mate van ervaring en/of affiniteit met de organisatie van de opdrachtgever.

Competenties

• In staat om zelfstandig technische vraagstukken op te pakken
• Goed kunnen samenwerken met collega’s uit verschillende disciplines
• Goede communicatieve vaardigheden
• In staat om technische keuzes helder toe te lichten aan teamleden en stakeholders

Overige informatie

Optie tot verlenging: Onbekend

Gespreksdatum: Onbekend

Dienstverband: Detachering

Over de opdrachtgever

Het Ministerie van Sociale Zaken en Werkgelegenheid is een departement van de Nederlandse overheid verantwoordelijk voor het sociale beleid en de werkgelegenheid in Nederland. Het ministerie houdt zich bezig met het ontwikkelen en uitvoeren van beleid dat gericht is op het bevorderen van sociaal welzijn en het stimuleren van werkgelegenheid. Hierbij wordt onder andere gekeken naar arbeidsomstandigheden, sociale zekerheid, arbeidsmarktbeleid en gelijke kansen op de arbeidsmarkt. Het ministerie tracht een evenwicht te vinden tussen de belangen van werkgevers en werknemers en streeft ernaar om een inclusieve arbeidsmarkt te creëren waar iedereen kan participeren.

De sluitingsdatum van deze opdracht is de harde deadline van onze opdrachtgever.