Data Engineer Buitenlandse Zaken

OverheidZZP; Den Haag; On-site; EUR 90,000 - 120,000; Full time

Job summary

Overheidzzp zoekt een Senior Data Engineer die datapipelines op het Databricks-platform ontwikkelt, beheert en optimaliseert. Je ontsluit en modelleert data, automatiseert processen en werkt nauw samen met analisten en ontwikkelaars binnen een multidisciplinair BI-team.

Je hebt uitgebreide ervaring met Python, SQL en Azure-omgevingen en kennis van DevOps pipelines. De rol vereist een proactieve aanpak, sterke samenwerking en interesse in data governance en modern data-architectuur.

Qualifications

• Detachering (dienstverband) als arbeidsrelatie.
• Ervaring met Databricks en Microsoft Azure.
• Kennis van data-ontsluiting, data-modellering en data- governance.
• Goede beheersing van de Nederlandse taal.

Responsibilities

• Ontwikkelt en beheert datapipelines op het Databricks-platform.
• Ondersteunt analisten en BI-kwaliteitsteams met informatieplanning.
• Integreert data vanuit verschillende bronnen voor rapportages en dashboards.
• Beheert deployment via DevOps pipelines en brengt workloads naar productie.
• Monitort ontwikkelingen in data-ontwikkeltools en architectuur.

Skills

Databricks

Python

SQL

Azure DevOps

Tableau

PowerShell

Data warehouse

DevOps pipelines

Tools

Databricks

Azure Data Factory

Tableau

PowerShell

CI/CD

Job description

Over de functie

In het kort: Je gaat als data engineer datapipelines ontwikkelen, beheren en optimaliseren op het Databricks-platform, data ontsluiten en modelleren, processen automatiseren en nauw samenwerken met analisten en ontwikkelaars binnen een multidisciplinair BI- en data science-team.

Je speelt een centrale rol binnen het Business Intelligence Team van BZ. Buitenlandse zaken heeft de ambitie door te groeien naar een informatie gestuurde, data-gedreven organisatie. Om dit te verwezenlijken loopt een diversiteit aan business intelligence & analytics (BIA) en data science projecten die grotendeels in elkaar verweven zijn. Ontwikkeling en beheer worden uitgevoerd door twee ontwikkel- en beheerteams onder aansturing van twee projectleiders.

De verschillende agile-scrum teams werken nauw samen met producteigenaren en opdrachtgevers vanuit verschillende afdelingen. Verschillende stakeholders, verschillende belangen, allemaal met als doel steeds beter en meer informatiegestuurd te kunnen werken voor een steeds grotere gebruikersgroep.

Je activiteiten gaan zich richten op het doorontwikkelen van het datawarehouse op basis van het Databricks platform. Uitgebreide kennis van python en sql is hiervoor van belang.

Onze taken en resultaatgebieden

• Ontwikkelt, onderhoudt en optimaliseert datapipelines voor specifieke informatieproducten. Hiervoor wordt het Databricks platform gebruikt.
• Ondersteunt, adviseert en stemt af met data analisten, infra engineer, visualisten, datascientists en BI-consultant (en informatiemanagers) betreffende informatieplanning en informatiestrategie
• Werkt nauw samen met BI-consultants, datagebruikers, datascientists e/a. op in de hiervoor genoemde technieken, zodat ze in staat zijn om de data die ze nodig hebben te integreren en te gebruiken
• Draagt er zorg voor dat de workloads gemanaged (deployment via devops pipelines) naar ontwikkeling en productie worden gebracht. Dit proces wordt door de data-engineer continu doorontwikkeld
• De Data-engineer is verantwoordelijk voor het monitoren en signaleren van de meest recente ontwikkelingen van innovatieve en moderne tools, technieken en architectuur voor data-ontwikkeling en beheer
• De data-engineer draagt zorg voor het zoveel mogelijk geheel of gedeeltelijk automatiseren van de laad- en verwerkingsprocessen
• Draagt er samen met o/a de datasteward zorg voor dat compliance-eisen en datagovernance worden verwerkt in de technische oplossing, zodat gebruikers (BI-consultants, data-scientists, datagebruikers) de data op een verantwoorde manier gebruiken
• Denkt onafhankelijk en zet technologische kennis in om verschillende concepten te integreren zodat unieke oplossingen ontstaan (Innoveren)

Achtergrond Opdracht

Als Data Engineer weet je als geen ander dat de opkomst van informatie gestuurd werken onvermijdelijk is. Data is overal om ons heen. Het toepassen van data kan BZ efficiënter en slimmer maken. Het doel van het Data Competence Centre is om (big)data (intern/extern, gestructureerd/ongestructureerd) te verzamelen en deze zodanig te rangschikken dat de data kan worden toegepast om tot inzichten te komen ter ondersteuning van de processen van BZ. Voor de ontwikkeling hiervan is een business intelligence & analytics en data science team ingericht. Je komt te werken in een multidisciplinair scrumteam voor de business intelligence producten o/a bestaande uit data analisten, ontwikkelaars en business vertegenwoordigers. In samenwerking met vertegenwoordigers van diverse directies wordt gewerkt aan het gestructureerd ontsluiten van de belangrijkste systemen van BZ en het onderbrengen van deze gegevens in een enterprise data warehouse en bijbehorende analytische omgevingen. Voor de facilitering van dit team is BZ op zoek naar een bevlogen Senior Data engineer met relevante ervaring op het Microsoft Azure platform.

De data-engineer speelt een centrale rol bij het strategisch positioneren en toepasbaar (beschikbaar maken, automatiseren, inladen en prepareren) maken van de data- en analyse-initiatieven voor (beleids)directies en posten. Het grootste deel van het werk besteedt de dataengineer aan het bouwen beheren en optimaliseren van datapipelines en het effectief verplaatsen van deze datapipelines naar productie. Hierin werkt de Data Engineer nauw samen met het functionele DevOps team van Infra Engineers, analisten en Tableau ontwikkelaars. Hiervoor is soms een flinke dosis flexibiliteit en creativiteit nodig richting de collega teamleden. De geschikte kandidaat weet van aanpakken, kan goed omgaan met een grote verscheidenheid werkzaamheden gedurende de werkdagen en is een echte teamspeler. Bovendien is de Data engineer de specialist op het gebied van ontsluiten van data uit bronnen, datatransformaties en datamodelleren.

Eisen

• Dienstverband: Detachering
• Ervaring met netwerken, specifiek in relatie tot Databricks en Microsoft Azure
• Op de hoogte van de laatste inzichten op het gebied van inrichten en beveiligen van Azure resources zoals Databricks
• Goede beheersing van de Nederlandse taal

Wensen

• Ervaring met CI/CD methodologie en Azure DevOps
• Ervaring met Azure tools zoals Azure Devops, Data Factory en vergelijkbaar (streaming & batch)
• Bekend met enterprise data warehouse en business intelligence georiënteerde architecturen Ervaring met Powershell
• Persoon die geïnteresseerd is en altijd op de hoogte van de nieuwste technologieën op het gebied van Data Enginering, Data Analytics en data warehousing
• Ervaring met het beheren van cloud services;
• Ervaring met het beheren visualisatieprogramma’s (zoals Tableau)
• Kennis van en ervaring met visualisatie tools als tableau is een pre
• Kennis en ervaring met SAP architectuur
• In staat om draagvlak te krijgen voor de grenzen van data engineering
• Vaardigheid in het ontwikkelen, uitdragen en verdedigen van beleids- bedrijfsvoeringproducten, -diensten, -beleid en -processen, nieuwe ideeën en concepten.
• vaardigheid in het tot stand brengen, implementeren en uitvoeren van producten, diensten, beleid en processen.

Competenties

• Systeembouw
• Systeemintegratie
• Implementeren data oplossingen
• Testen
• Ondersteunen van wijzigingen
• Gebruikgedreven ontwerpen
• Privacy. security en Ethiek
• Informatie en kennismanagement

Overige informatie

Optie tot verlenging: Ja, verlenging mogelijk

Gespreksdatum: Onbekend

Dienstverband: Detachering

Over de opdrachtgever

Het Ministerie van Buitenlandse Zaken is verantwoordelijk voor het buitenlands beleid en de extern gerelateerde zaken van Nederland. Het ministerie houdt zich bezig met de internationale betrekkingen van Nederland, diplomatieke kwesties, ontwikkelingssamenwerking, handelsbevordering en consulaire dienstverlening. Het Ministerie van Buitenlandse Zaken vertegenwoordigt Nederland bij internationale organisaties en verdragen, en zet zich in voor de belangen van Nederland in het buitenland.

De sluitingsdatum van deze opdracht is de harde deadline van onze opdrachtgever.

Benodigdheden

• Om je krachtig voor te kunnen dragen hebben wij minimaal één werkdag nodig om samen met jou alle bescheiden in orde te maken.