Senior Data Engineer — Pipelines, PySpark & Lakehouse

Deploja-Ab; Göteborgs kommun; On-site; SEK 700,000 - 1,000,000; Full time

Job summary

Deploja-Ab söker en konsult med flera års erfarenhet av data engineering och utveckling av skalbara datapipelines. Rollen är en del av vår konsultverksamhet, vilket innebär att du blir anställd av oss och arbetar hos kund eller i interna projekt.

Du har stark kompetens inom Python, SQL och PySpark, samt erfarenhet av både batch- och strömmande databehandling, ETL/ELT, datakvalitet och data lineage. Du förstår data lakehouse-arkitektur och format som Iceberg eller Delta Lake, samt datamodellering

Qualifications

• Flera års erfarenhet av data engineering och utveckling av skalbara datapipelines.
• Stark kompetens inom Python, SQL och PySpark samt distribuerad dataprocessering.
• Erfarenhet av både batch- och strömmande databehandling.
• ETL/ELT, datakvalitet och data lineage.
• God förståelse för data lakehouse-arkitektur och Iceberg eller Delta Lake.
• Gedigen erfarenhet av datamodellering för analys och jämförelser av stora datamängder.
• Erfarenhet av att bygga dataflöden och datamodeller som stödjer datadriven systemvalidering och automatiserad regressionstestning.
• Förståelse för reproducerbarhet, spårbarhet, versionshantering och kvalitet i data som används för validering.

Skills

Python

SQL

PySpark

Data pipelines

Batch processing

Streaming data

ETL/ELT

Data quality

Data lineage

Data modeling

Tools

Iceberg

Delta Lake

Job description

Deploja-Ab söker en konsult med flera års erfarenhet av data engineering och utveckling av skalbara datapipelines. Rollen är en del av vår konsultverksamhet, vilket innebär att du blir anställd av oss och arbetar hos kund eller i interna projekt.

Du har stark kompetens inom Python, SQL och PySpark, samt erfarenhet av både batch- och strömmande databehandling, ETL/ELT, datakvalitet och data lineage. Du förstår data lakehouse-arkitektur och format som Iceberg eller Delta Lake, samt datamodellering