Data Engineer (2x) - Ministerie van Buitenlandse Zaken

1UPPLY; Den Haag; Hybrid; EUR 100,000 - 142,000; Full time

Job summary

1UPPLY in Den Haag zoekt een Senior Data Engineer die datapipelines ontwikkelt en beheert op het Databricks-platform met Azure. Je richt je op productieklare data en data governance voor informatieve producten.

Je werkt nauw samen met data-analisten, BI-consultants en data scientists en past CI/CD toe met Azure DevOps en Data Factory, terwijl privacy en security bewaakt worden.

Qualifications

• Ervaring als data-engineer binnen de overheid.
• Kennis van de inrichting en beveiliging van Azure-resources, zoals Databricks.
• Ervaring met CI/CD-methodologie en Azure DevOps.
• Kennis van enterprise datawarehouse- en BI-architecturen.
• Goede beheersing van de Nederlandse taal.
• Privacy, security en ethiek.

Responsibilities

• Ontwikkelen, onderhouden en optimaliseren van datapipelines.
• Datasets ontsluiten en modelleren voor informatieproducten.
• Automatiseren van laad- en verwerkingsprocessen.
• Samenwerken met data-analisten, BI-consultants en data scientists.
• Toepassen van governance en compliance in oplossingen.

Skills

Datapipeline engineering

Azure Databricks

Azure DevOps

Data Factory

PowerShell

Tableau

BI / Data warehousing

Data governance

CI/CD

Tools

Databricks

Azure DevOps

Data Factory

PowerShell

Tableau

Job description

Senior Data Engineer

Over de functie

Als Senior Data Engineer ontwikkel, beheer en optimaliseer je datapipelines en maak je data beschikbaar voor analyse en informatieproducten. Je werkt met Databricks op Microsoft Azure en besteedt een groot deel van je tijd aan het bouwen en beheren van datapipelines en het naar productie brengen ervan.

Wat ga je doen?

• Ontwikkelen, onderhouden en optimaliseren van datapipelines voor informatieproducten op het Databricks-platform.
• Ontsluiten van gegevens uit bronnen, uitvoeren van datatransformaties en modelleren van data.
• Automatiseren van laad- en verwerkingsprocessen.
• Workloads via DevOps-pipelines naar ontwikkel- en productieomgevingen brengen en dit proces continu verbeteren.
• Afstemmen met en adviseren van data-analisten, infra-engineers, visualisten, data scientists, BI-consultants en informatiemanagers over informatieplanning en -strategie.
• Samenwerken met BI-consultants, datagebruikers en data scientists om data te integreren en bruikbaar te maken.
• Compliance-eisen en datagovernance verwerken in technische oplossingen, zodat data verantwoord wordt gebruikt.
• Ontwikkelingen volgen op het gebied van moderne tools, technieken en architectuur voor dataontwikkeling en -beheer.
• Technologische kennis inzetten om concepten te combineren en nieuwe oplossingen te ontwikkelen.

Wat breng je mee?

• Ervaring als data-engineer binnen de overheid.
• Ervaring met netwerken, specifiek in relatie tot Databricks en Microsoft Azure.
• Kennis van de inrichting en beveiliging van Azure-resources, zoals Databricks.
• Ervaring met systeembouw, systeemintegratie, het implementeren van dataoplossingen, testen en het ondersteunen van wijzigingen.
• Ervaring met gebruikgedreven ontwerpen en kennis van privacy, security en ethiek.
• Ervaring met CI/CD-methodologie en Azure DevOps.
• Ervaring met Azure-tools zoals Azure DevOps en Data Factory, voor zowel streaming- als batchverwerking.
• Bekendheid met enterprise datawarehouse- en business-intelligencearchitecturen.
• Ervaring met PowerShell en het beheren van cloudservices.
• Brede productkennis van business-intelligence- en datawarehouse-tools.
• Kennis van en ervaring met datamanagement en datagovernance.
• Goede beheersing van de Nederlandse taal.
• Vermogen om draagvlak te creëren voor de grenzen van data-engineering.
• Vaardigheid in het ontwikkelen, uitdragen en verdedigen van beleids- en bedrijfsvoeringproducten, diensten, beleid, processen, ideeën en concepten.
• Vaardigheid in het tot stand brengen, implementeren en uitvoeren van producten, diensten, beleid en processen.
• Interesse in en kennis van de nieuwste technologieën op het gebied van data-engineering, data-analyse en datawarehousing.
• Flexibiliteit, creativiteit, een praktische aanpak en het vermogen om goed samen te werken in een multidisciplinair team.

Pré’s

• Ervaring met het beheren van visualisatieprogramma’s, zoals Tableau, en kennis van visualisatietools zoals Tableau.
• Kennis van financiële en/of HR-processen, bij voorkeur binnen de Rijksoverheid.
• Kennis van en ervaring met SAP-architectuur.

Eisen

• Het tarief is 88,- per uur
• Zorg dat alle eisen en wensen duidelijk terug te vinden zijn in het cv onder de werkzaamheden per opdracht
• Werk- en denkniveau (algemeen en specifiek)
• Ervaring met netwerken, specifiek in relatie tot Databricks en Microsoft Azure
• Ervaring binnen de overheid als data engineer
• Op de hoogte van de laatste inzichten op het gebied van inrichten en beveiligen van Azure resources zoals Databricks
• Systeembouw
• Systeemintegratie
• Implementeren data oplossingen
• Testen
• Ondersteunen van wijzigingenGebruikgedreven ontwerpen
• Privacy, security en ethiek
• Informatie en kennismanagement
• Ervaring met CI/CD methodologie en Azure DevOpsErvaring met Azure tools zoals Azure Devops, Data Factory en vergelijkbaar (streaming & batch)
• Bekend met enterprise data warehouse en business intelligence georiënteerde architecturen
• Ervaring met Powershell
• Persoon die geïnteresseerd is en altijd op de hoogte van de nieuwste technologieën op het gebied van Data Engineering, Data Analytics en data warehousing
• Ervaring met het beheren van cloud services
• Ervaring met het beheren visualisatieprogramma's (zoals Tableau)
• Kennis van en ervaring met visualisatie tools als tableau is een pre
• Kennis van financiële processen en/of HR processen, bij voorkeur binnen de Rijksoverheid
• Brede productkennis Business Intelligence en Datawarehouse tools
• Kennis en ervaring met SAP architectuur
• Kennis en ervaring met Data management en governance
• Goede beheersing van de Nederlandse taal
• In staat om draagvlak te krijgen voor de grenzen van data engineering
• Vaardigheid in het ontwikkelen, uitdragen en verdedigen van beleids- en bedrijfsvoeringproducten, -diensten, -beleid en -processen, nieuwe ideeën en concepten
• Vaardigheid in het tot stand brengen, implementeren en uitvoeren van producten, diensten, beleid en processen