Data Engineer Overheid

Good Company; Den Haag; On-site; EUR 60,000 - 90,000; Full time

Job summary

Good Company zoekt een Data Engineer die een klein, hecht team versterkt en de verbinding vormt tussen ruwe data en bruikbare inzichten voor HR, subsidies, inkoop en financiën. Je werkt nauw samen met directies, data scientists en een extern ontwikkelteam en speelt een sleutelrol in de verdere ontwikkeling van de dataomgeving.

Je bouwt datapijplijnen in Databricks met Python en SQL, migreert bestaande oplossingen naar een hub-spoke Databricks-omgeving en ontwikkelt generieke pijplijnen, API’s en

Qualifications

• Verantwoordelijk voor het bouwen van datapijplijnen in Databricks met Python en SQL.
• Migreren van bestaande dataoplossingen naar een hub-spoke Databricks-omgeving.
• Ontwikkelen van generieke pijplijnen, API’s en een datacatalogus.
• Adviseren over een incrementele aanpak in plaats van full-load batchprocessen.

Responsibilities

• Reviewen en verbeteren van code van anderen om kwaliteit te waarborgen.
• Zorgen dat data betrouwbaar, AVG-proof en conform overheidsstandaarden beschikbaar komt.
• Meedenken over overgang naar data mesh en nieuwe AI-toepassingen.

Skills

Python

SQL

Databricks

Data pipelines

APIs

Data catalog

Data mesh

AVG-proof

Job description

Als Data Engineer word je onderdeel van een klein, hecht datateam met een architect, een Product Owner en een externe beheerpartij. Je bent de verbindende schakel tussen ruwe data en bruikbare inzichten voor uiteenlopende domeinen, zoals HR, subsidies, inkoop en financiën. Je werkt nauw samen met directies, data scientists en het externe ontwikkelteam, en speelt een sleutelrol in de verdere ontwikkeling van de dataomgeving.

Jouw verantwoordelijkheden zijn:

• Bouwen en onderhouden van datapijplijnen in Databricks met Python en SQL;
• Migreren van bestaande dataoplossingen uit ADF, SQL en een oudere Databricks-omgeving naar een nieuwe hub-spoke Databricks-omgeving;
• Ontwikkelen van generieke pijplijnen, API’s en een datacatalogus;
• Adviseren over en bouwen aan een incrementele aanpak in plaats van full-load batchprocessen;
• Reviewen en verbeteren van code van anderen om de kwaliteit te waarborgen;
• Zorgen dat data betrouwbaar, AVG-proof en conform overheidsstandaarden zoals NORA, DGB en BIO beschikbaar komt;
• Meedenken over de overgang naar een data mesh en nieuwe AI-toepassingen.