2FTE Data Engineers

1UPPLY; Den Haag; Hybrid; EUR 70,000 - 95,000; Full time

Job summary

Het Ministerie van Buitenlandse Zaken zoekt een 2FTE Data Engineer die verantwoordelijk is voor het ontwikkelen en beheren van datapipelines en het uitbreiden van het enterprise datawarehouse op basis van Azure Databricks. Je werkt nauw samen met data-analisten, data scientists en BI-consultants om data beschikbaar te maken voor beleid en besluitvorming.

Je focus ligt op automatisering, betrouwbaarheid en veiligheid van de data-omgeving, met aandacht voor datagovernance en compliance.

Qualifications

• Vaardigheden in data engineering en cloudgebaseerde datawarehouses.
• Ervaring met Python, SQL en ETL/ELT-pipelines.
• Kennis van CI/CD en DevOps-praktijken in cloudomgevingen.

Responsibilities

• Ontwikkelen en beheren van datapipelines en het enterprise datawarehouse op Azure Databricks.
• Ontsluiten en transformeren van gegevens uit diverse bronnen voor analyses en rapportages.
• Automatiseren van laad- en verwerkingsprocessen en deployments via Azure DevOps.
• Samenwerken met data-analisten, data scientists en BI-consultants over informatiebehoeften.
• Bewaken van data governance, beveiliging en compliance in cloudomgevingen.

Skills

Python

SQL

CI/CD

Azure Databricks

Data pipelines

Azure Cloud

Education

HBO/WO data engineering

Tools

Azure DevOps

PowerShell

Azure Data Factory

Job description

Functieomschrijving

Als 2FTE Data Engineersbij het Ministerie van Buitenlandse Zaken speel je een centrale rol in het ontwikkelen, beheren en optimaliseren van moderne dataoplossingen. Je werkt binnen het Business Intelligence-team en draagt bij aan de ambitie van Buitenlandse Zaken om zich verder te ontwikkelen tot een informatiegestuurde en datagedreven organisatie.

Binnen het ministerie lopen verschillende projecten op het gebied van Business Intelligence & Analytics (BIA) en data science. Deze projecten zijn nauw met elkaar verbonden en ondersteunen verschillende afdelingen bij het beter benutten van data voor beleidsvorming, bedrijfsvoering en besluitvorming.

Je richt je voornamelijk op het verder ontwikkelen van het enterprise datawarehouse op basis van het Databricks-platform binnen Microsoft Azure. Hierbij maak je gebruik van je kennis van Python, SQL, datapipelines en moderne cloudtechnologieën.

Je bent verantwoordelijk voor het ontwikkelen, onderhouden en optimaliseren van datapipelines waarmee gegevens uit verschillende bronnen worden ontsloten, getransformeerd en beschikbaar gesteld voor analyse en rapportage.

Daarnaast zorg je ervoor dat dataworkloads op een gecontroleerde en geautomatiseerde manier naar ontwikkel- en productieomgevingen worden gebracht. Hierbij werk je met Azure DevOps, CI/CD-processen en andere automatiseringstechnieken.

Je speelt ook een belangrijke rol bij het verder automatiseren van laad- en verwerkingsprocessen en het verbeteren van de betrouwbaarheid, schaalbaarheid en veiligheid van de dataomgeving.

Binnen het team werk je nauw samen met data-analisten, data scientists, BI-consultants, infrastructuurspecialisten, Tableau-ontwikkelaars en informatiemanagers. Samen zorgen jullie ervoor dat data op een verantwoorde en effectieve manier beschikbaar komt voor verschillende gebruikers binnen het ministerie.

Je houdt rekening met datagovernance, compliance en informatiebeveiliging en werkt samen met onder andere datastewards om deze uitgangspunten te vertalen naar technische oplossingen.

Met jouw kennis van moderne data-architecturen en cloudtechnologieën lever je een belangrijke bijdrage aan de verdere ontwikkeling van het Data Competence Centre en de informatievoorziening van Buitenlandse Zaken.

Taken en verantwoordelijkheden

Ontwikkelen, onderhouden en optimaliseren van datapipelines voor specifieke informatieproducten.Verder ontwikkelen van het enterprise datawarehouse op basis van Azure Databricks.Ontsluiten en integreren van gegevens uit verschillende interne en externe databronnen.Ontwikkelen en beheren van datatransformaties en datamodellen.Toepassen van Python en SQL bij het ontwikkelen en verbeteren van dataoplossingen.Ontwikkelen en onderhouden van dataworkloads binnen Microsoft Azure.Inrichten en verbeteren van geautomatiseerde data-integratieprocessen.Werken met Azure Data Factory en vergelijkbare oplossingen voor batch- en streamingverwerking.Ontwikkelen en optimaliseren van CI/CD-processen met Azure DevOps.Automatiseren van deployments naar ontwikkel- en productieomgevingen.Beheren en optimaliseren van bestaande datapipelines.Monitoren van de werking en prestaties van dataworkloads.Signaleren en oplossen van technische problemen binnen data-integratieprocessen.Bijdragen aan het veilig inrichten en beheren van Azure-resources.Toepassen van actuele inzichten rondom beveiliging van cloudomgevingen en Databricks.Ondersteunen bij netwerkvraagstukken in relatie tot Databricks en Microsoft Azure.Bijdragen aan het beheer en de optimalisatie van cloudservices.Automatiseren van laad- en verwerkingsprocessen.Werken met PowerShell voor het ondersteunen en automatiseren van technische processen.Ondersteunen bij het beheer van visualisatieprogramma's zoals Tableau.Afstemmen met data-analisten, BI-consultants en data scientists over informatiebehoeften.Adviseren over technische mogelijkheden voor dataontsluiting en dataverwerking.Samenwerken met datastewards om datagovernance en compliance-eisen te verwerken in technische oplossingen.Bijdragen aan het verantwoord gebruik van gegevens binnen de organisatie.Signaleren van nieuwe ontwikkelingen op het gebied van Data Engineering, Data Analytics en datawarehousing.Meedenken over innovatieve dataoplossingen en moderne data-architecturen.Ondersteunen bij het verbeteren van de kwaliteit en betrouwbaarheid van informatieproducten.Bijdragen aan de verdere professionalisering van het Data Competence Centre.Werken volgens Agile/Scrum-principes binnen een multidisciplinair team.

Samenwerking en afstemming

Samenwerken met collega's binnen het Business Intelligence-team van Buitenlandse Zaken.Afstemmen met data-analisten over de beschikbaarheid en verwerking van gegevens.Samenwerken met data scientists bij het ontsluiten en voorbereiden van datasets.Afstemmen met BI-consultants over informatieproducten en analytische toepassingen.Samenwerken met infrastructuurspecialisten over de technische inrichting van de Azure-omgeving.Ondersteunen van Tableau-ontwikkelaars bij het beschikbaar stellen van betrouwbare datasets.Afstemmen met informatiemanagers over informatieplanning en informatiestrategie.Samenwerken met datastewards bij het toepassen van datagovernance en compliance-eisen.Afstemmen met Product Owners en opdrachtgevers over informatiebehoeften en prioriteiten.Samenwerken met vertegenwoordigers van verschillende directies binnen het ministerie.Bijdragen aan de samenwerking tussen ontwikkel- en beheerteams.Delen van kennis over Databricks, Azure, Python, SQL en data-architecturen.Meedenken over technische verbeteringen en nieuwe mogelijkheden voor datagedreven werken.Helder communiceren over technische vraagstukken, voortgang en oplossingsrichtingen.Bijdragen aan een resultaatgerichte samenwerking binnen een multidisciplinair Scrumteam.

Beoogde eindresultaten

Enterprise datawarehouse verder ontwikkeld en geoptimaliseerd op basis van Azure Databricks.Betrouwbare datapipelines ontwikkeld en onderhouden voor verschillende informatieproducten.Gegevens uit verschillende bronnen ontsloten en geïntegreerd binnen de dataomgeving.Datatransformaties en datamodellen verbeterd ter ondersteuning van analyses en rapportages.Dataworkloads gecontroleerd en geautomatiseerd uitgerold naar ontwikkel- en productieomgevingen.CI/CD-processen verder ontwikkeld met behulp van Azure DevOps.Laad- en verwerkingsprocessen verder geautomatiseerd om efficiëntie en betrouwbaarheid te verbeteren.Cloudresources veilig ingericht en beheerd, met aandacht voor informatiebeveiliging en compliance.Datagovernance-eisen verwerkt in technische oplossingen in samenwerking met betrokken specialisten.Data beschikbaar gesteld voor BI-consultants, data scientists en andere gebruikers binnen het ministerie.Bijgedragen aan de verdere professionalisering van het Data Competence Centre.Bijgedragen aan de ontwikkeling van een informatiegestuurde en datagedreven organisatie binnen Buitenlandse Zaken.

Organisatie

Je werkt bij het Ministerie van Buitenlandse Zaken (BZ), dat verantwoordelijk is voor de ontwikkeling en uitvoering van het Nederlandse buitenlandse beleid.

Het ministerie vormt de verbinding tussen de Nederlandse regering, buitenlandse overheden en internationale organisaties. Naast het departement in Den Haag is Buitenlandse Zaken wereldwijd actief via ambassades, permanente vertegenwoordigingen en consulaten-generaal.

Binnen het ministerie maak je onderdeel uit van de Directie Informatievoorziening en Digitale Innovatie (IDI).

Deze directie is verantwoordelijk voor de ICT-voorzieningen van Buitenlandse Zaken en ondersteunt ongeveer 5.000 medewerkers in binnen- en buitenland bij hun digitale werkzaamheden.

IDI richt zich op het verder ontwikkelen van digitalisering als strategisch onderdeel van de organisatie. Hierbij spelen informatiebeveiliging, betrouwbare ICT-dienstverlening en de toepassing van nieuwe technologieën een belangrijke rol.

Je werkt binnen het Data Competence Centre BZ (DCBZ). Dit cluster ondersteunt de organisatie bij het effectief en verantwoord benutten van data.

Het Data Competence Centre ontwikkelt informatieproducten, rapportages en analytische oplossingen die verschillende processen binnen het ministerie ondersteunen.

Daarnaast draagt het cluster bij aan de ontwikkeling en implementatie van kaders voor datamanagement, datagovernance en verantwoord datagebruik.

Je komt terecht in een multidisciplinair Scrumteam met onder andere data-analisten, ontwikkelaars, data scientists, BI-consultants en vertegenwoordigers vanuit de organisatie.

Samen werken jullie aan het ontsluiten van belangrijke gegevensbronnen en het verder ontwikkelen van een enterprise datawarehouse en bijbehorende analytische omgevingen.

Eisen

• Je bent aantoonbaar op de hoogte van de nieuwste inzichten op het gebied van het inrichten en beveiligen van Azure-resources, waaronder Databricks.Je hebt aantoonbare ervaring met netwerken, specifiek in relatie tot Databricks en Microsoft Azure.

Gunningscriteria

• Aanvullende kennis en ervaring
• Aantoonbare ervaring met CI/CD-methodologie en Azure DevOps.Ervaring met Azure-tools zoals Azure DevOps, Azure Data Factory en vergelijkbare oplossingen voor streaming- en batchverwerking.Kennis van enterprise datawarehouse- en Business Intelligence-georiënteerde architecturen.Ervaring met PowerShell.Actuele kennis van ontwikkelingen op het gebied van Data Engineering, Data Analytics en datawarehousing.Ervaring met het beheren van cloudservices.Ervaring met het beheren van visualisatieprogramma's zoals Tableau.
• Overige wensen
• Kennis van en ervaring met visualisatietools zoals Tableau.Kennis van financiële processen en/of HR-processen, bij voorkeur binnen de Rijksoverheid.Brede productkennis van Business Intelligence- en datawarehousetools.Ervaring met leveranciersmanagement.Kennis van en ervaring met SAP-architectuur.Kennis van en ervaring met datamanagement en datagovernance.Goede beheersing van de Nederlandse taal.In staat om draagvlak te creëren voor de mogelijkheden en grenzen van data engineering.Vaardigheid in het ontwikkelen, uitdragen en verdedigen van beleids- en bedrijfsvoeringsproducten, diensten, processen, nieuwe ideeën en concepten.Vaardigheid in het tot stand brengen, implementeren en uitvoeren van producten, diensten, beleid en processen.