Data Engineer

Good Company; Rotterdam; In loco; EUR 70.000 - 90.000; Tempo pieno

Descrizione del lavoro

Good Company in Rotterdam zoekt een Data Engineer die deel uitmaakt van het datawarehouseteam binnen Data & BI. Je werkt aan het hart van het lakehouse-platform in Databricks en beheert end-to-end dataoplossingen.

Je combineert software engineering, cloudtechnologie en operationeel eigenaarschap en werkt nauw samen met BI- en Data Governance-teams aan betrouwbare, schaalbare data pipelines. Je bouwt data-ingestieprocessen, ontwerpt datawarehouse- en Delta Lake-patronen, en gebruikt IaC voor

Competenze

• Sterke ervaring met data engineering en Databricks is vereist.
• Ervaring met Python en datawarehousing-methodes.
• Bekwaam in Agile werkwijze en kostenbewaking.

Mansioni

• Bouwen, onderhouden en optimaliseren van data-ingestieprocessen met Python in Databricks.
• Ontwerpen en implementeren van datawarehouse- en Delta Lake-patronen zoals CDC, SCD Type 2, incremental loading en deduplicatie.
• Beheren van Databricks-componenten zoals Workflows, Unity Catalog en Compute Clusters, en onderhouden van Infrastructure as Code met Databricks Asset Bundles en OpenTofu/Terraform.
• Onderzoeken van nieuwe bron- en integratietypen en uitvoeren van proof-of-concepts.
• Bewaken van de betrouwbaarheid van productieomgevingen via monitoring, incidentanalyse, root-cause analyses en kostenbewaking.
• Zorgen voor kwaliteit via design- en code reviews, unit- en integratietesten en aanpak van technische schuld.
• Actief bijdragen aan Agile via backlog refinement, inschattingen en risicobeheer.

Conoscenze

Python

Databricks

Delta Lake

CDC

SCD Type 2

Incremental loading

Deduplication

Workflows

Unity Catalog

Compute Clusters

Infrastructure as Code

Terraform

OpenTofu

Monitoring

Incident analysis

Root-cause analysis

Cost monitoring

Code reviews

Unit tests

Integration tests

Agile

Descrizione del lavoro

Als Data Engineer word je onderdeel van het datawarehouseteam binnen de afdeling Data & BI, een team van Data Engineers en Analytics Engineers dat fundamentele dataproducten bouwt voor analytics en business reporting. Je werkt aan het hart van het centrale lakehouse-platform in Databricks en bent betrokken bij de volledige levenscyclus van data-oplossingen. Daarbij combineer je software engineering, cloudtechnologie en operationeel eigenaarschap, in nauwe samenwerking met het BI-team en het Data Governance-team.

Jouw verantwoordelijkheden zijn:

• Bouwen, onderhouden en optimaliseren van data-ingestieprocessen met objectgeoriënteerde Python in Databricks;
• Ontwerpen en implementeren van datawarehouse- en Delta Lake-patronen zoals CDC, SCD Type 2, incremental loading en deduplicatie;
• Beheren van Databricks-componenten zoals Workflows, Unity Catalog en Compute Clusters, en onderhouden van Infrastructure as Code met Databricks Asset Bundles en OpenTofu/Terraform;
• Onderzoeken van nieuwe bron- en integratietypen en uitvoeren van proof-of-concepts;
• Bewaken van de betrouwbaarheid van productieomgevingen via monitoring, incidentanalyse, root-cause analyses en kostenbewaking;
• Borgen van kwaliteit met design reviews, code reviews, unit- en integratietesten en het aanpakken van technische schuld;
• Actief bijdragen aan de agile werkwijze via backlog refinement, inschattingen en risicobeheer.