Senior Data Engineer – Lakehouse & Databricks

SmartRecruiters, Inc.; Maassluis; On-site; EUR 56,000 - 80,000; Full time

Benefits offered by this job

8 weken vakantie

Lely Academy trainingen

Moderne campusfaciliteiten

Gratis shuttlebus

Bedrijfsrestaurant

Job summary

Lely zoekt een Data Engineer voor het DWHM-team die data uit diverse bronnen betrouwbaar en schaalbaar beschikbaar maakt voor analytics. Je werkt aan het lakehouse-platform in Databricks en combineert software engineering met cloudtechnologie en operationeel eigenaarschap.

Je ontwikkelt onderhoudbare data-ingestieoplossingen, integreert nieuwe databronnen en bewaakt productiebetrouwbaarheid. Ervaring met Delta Lake, CDC en SCD Type 2 is gewenst.

Qualifications

• Minimaal 5 jaar relevante werkervaring in data engineering of vergelijkbare rol
• Sterke Python-ontwikkelingsvaardigheden en OO-programmeren
• Sterke SQL-vaardigheden voor data-extractie, transformatie en validatie
• Ervaring met Databricks en datawarehousing-patronen
• Kennis van cloudtechnologieën, bij voorkeur Azure
• Ervaring met CI/CD en version-control tooling

Responsibilities

• Bouwt, onderhoudt en optimaliseert data-ingestieprocessen voor diverse databronnen met Python in Databricks
• Ontwerpt en implementeert datawarehouse- en Delta Lake-patronen (CDC, SCD Type 2, incremental loading, deduplicatie)
• Beheert Databricks-componenten (Workflows, Unity Catalog, Compute Clusters) en Infrastructure as Code (Terraform/OpenTofu)
• Onderzoekt nieuwe bronnen en integratietypen en levert PoCs voor uitbreiding van het dataplatform
• Verantwoordelijk voor betrouwbaarheid van productie omgevingen door monitoring en incidentanalyse
• Voert design reviews, code reviews, unit- en integratietesten uit en vermindert technische schuld
• Draagt bij aan agile werkwijze zoals backlog refinement en risicobeheer

Skills

Python

SQL

Azure

CI/CD

Monitoring

Tools

Databricks

Delta Lake

Unity Catalog

Workflows

Terraform/OpenTofu

GitLab

Job description

Lely zoekt een Data Engineer voor het DWHM-team die data uit diverse bronnen betrouwbaar en schaalbaar beschikbaar maakt voor analytics. Je werkt aan het lakehouse-platform in Databricks en combineert software engineering met cloudtechnologie en operationeel eigenaarschap.

Je ontwikkelt onderhoudbare data-ingestieoplossingen, integreert nieuwe databronnen en bewaakt productiebetrouwbaarheid. Ervaring met Delta Lake, CDC en SCD Type 2 is gewenst.