Senior Data Engineer: Azure Databricks Lakehouse Lead

AtlantisJobs; Polska; Remote; PLN 180,000 - 280,000; Full time

Job summary

Sii w Krakowie poszukuje doświadczonego Data Engineera do zespołu inżynierii danych, pracującego nad potokami danych na platformie Azure Databricks, z wykorzystaniem Delta Lake i dbt.

Twoje zadania obejmą projektowanie, rozwój i utrzymanie potoków danych, wsparcie modelu danych oraz współpracę z analitykami i właścicielami produktów. Wymagana jest samodzielność i gotowość do wizyt w Krakowie raz w miesiącu.

Qualifications

• Minimum 8-letnie doświadczenie w inżynierii danych.
• Bardzo dobra znajomość Apache Spark, Databricks, Snowflake, dbt oraz Python.
• Wcześniejsza praca w projektowaniu rozwiązań opartych na Delta Lake, Apache Iceberg, HDFS lub pokrewne technologie przechowywania danych.
• Umiejętność samodzielnego prowadzenia złożonych projektów data engineering oraz współpracy z interesariuszami biznesowymi.
• Doświadczenie w technicznym liderowaniu i mentoringu członków zespołu.
• Bardzo dobra znajomość języka angielskiego - poziom C1.
• Gotowość do wizyt w biurze w Krakowie - 1 raz w miesiącu.

Responsibilities

• Projektowanie i rozwój zaawansowanych pipeline'ów danych w środowisku Azure Databricks.
• Tworzenie skalowalnej architektury danych z wykorzystaniem technologii lakehouse.
• Definiowanie standardów i dobrych praktyk w obszarze Data Engineering.
• Współpraca z zespołami Data Analytics, Data Science oraz Product w celu dostarczania kompleksowych rozwiązań.
• Mentoring mniej doświadczonych inżynierów i wsparcie techniczne zespołu.
• Optymalizacja wydajności, niezawodności, bezpieczeństwa oraz kosztów funkcjonowania platformy danych.

Skills

Apache Spark

Databricks

Snowflake

dbt

Python

Delta Lake

Iceberg

HDFS

Liderowanie zespołem

Współpraca z interesariuszami

Tools

Databricks

Delta Lake

Iceberg

HDFS

dbt

Snowflake

Azure

Job description

Sii w Krakowie poszukuje doświadczonego Data Engineera do zespołu inżynierii danych, pracującego nad potokami danych na platformie Azure Databricks, z wykorzystaniem Delta Lake i dbt.

Twoje zadania obejmą projektowanie, rozwój i utrzymanie potoków danych, wsparcie modelu danych oraz współpracę z analitykami i właścicielami produktów. Wymagana jest samodzielność i gotowość do wizyt w Krakowie raz w miesiącu.