Senior Data Engineer (f/m/x)

AtlantisJobs; Polska; Remote; PLN 180,000 - 280,000; Full time

Job summary

Sii w Krakowie poszukuje doświadczonego Data Engineera do zespołu inżynierii danych, pracującego nad potokami danych na platformie Azure Databricks, z wykorzystaniem Delta Lake i dbt.

Twoje zadania obejmą projektowanie, rozwój i utrzymanie potoków danych, wsparcie modelu danych oraz współpracę z analitykami i właścicielami produktów. Wymagana jest samodzielność i gotowość do wizyt w Krakowie raz w miesiącu.

Qualifications

• Minimum 8-letnie doświadczenie w inżynierii danych.
• Bardzo dobra znajomość Apache Spark, Databricks, Snowflake, dbt oraz Python.
• Wcześniejsza praca w projektowaniu rozwiązań opartych na Delta Lake, Apache Iceberg, HDFS lub pokrewne technologie przechowywania danych.
• Umiejętność samodzielnego prowadzenia złożonych projektów data engineering oraz współpracy z interesariuszami biznesowymi.
• Doświadczenie w technicznym liderowaniu i mentoringu członków zespołu.
• Bardzo dobra znajomość języka angielskiego - poziom C1.
• Gotowość do wizyt w biurze w Krakowie - 1 raz w miesiącu.

Responsibilities

• Projektowanie i rozwój zaawansowanych pipeline'ów danych w środowisku Azure Databricks.
• Tworzenie skalowalnej architektury danych z wykorzystaniem technologii lakehouse.
• Definiowanie standardów i dobrych praktyk w obszarze Data Engineering.
• Współpraca z zespołami Data Analytics, Data Science oraz Product w celu dostarczania kompleksowych rozwiązań.
• Mentoring mniej doświadczonych inżynierów i wsparcie techniczne zespołu.
• Optymalizacja wydajności, niezawodności, bezpieczeństwa oraz kosztów funkcjonowania platformy danych.

Skills

Apache Spark

Databricks

Snowflake

dbt

Python

Delta Lake

Iceberg

HDFS

Liderowanie zespołem

Współpraca z interesariuszami

Tools

Databricks

Delta Lake

Iceberg

HDFS

dbt

Snowflake

Azure

Job description

Szukamy doświadczonego Data Engineer, który dołączy do zespołu zajmującego się inżynierią danych w dynamicznie rozwijającym się środowisku, w którym dane są głównym produktem. Będziesz pracować w wysoko wykwalifikowanym zespole odpowiedzialnym za rozwój i utrzymanie potoków danych na platformie Azure przy użyciu Databricks, wspierając wszystkie kluczowe funkcje biznesowe. Twoim głównym celem będzie budowanie i utrzymywanie solidnych, bezpiecznych potoków danych oraz pomoc w definiowaniu modelu danych, który dostarcza zaufane zbiory danych naszym klientom. Będziesz współpracować z zespołem inżynierów, analityków danych i właścicieli produktów, aby dostarczać kompleksowe rozwiązania – od pozyskiwania danych po dostarczenie do końcowego klienta.

Twoje zadania

• Projektowanie i rozwój zaawansowanych pipeline'ów danych w środowisku Azure Databricks
• Tworzenie skalowalnej architektury danych z wykorzystaniem technologii lakehouse
• Definiowanie standardów i dobrych praktyk w obszarze Data Engineering
• Współpraca z zespołami Data Analytics, Data Science oraz Product w celu dostarczania kompleksowych rozwiązań
• Mentoring mniej doświadczonych inżynierów i wsparcie techniczne zespołu
• Optymalizacja wydajności, niezawodności, bezpieczeństwa oraz kosztów funkcjonowania platformy danych

Wymagania

• Minimum 8-letnie doświadczenie w inżynierii danych
• Bardzo dobra znajomość Apache Spark, Databricks, Snowflake, dbt oraz Python
• Wcześniejsza praca w projektowaniu rozwiązań opartych na Delta Lake, Apache Iceberg, HDFS lub pokrewne technologie przechowywania danych
• Umiejętność samodzielnego prowadzenia złożonych projektów data engineering oraz współpracy z interesariuszami biznesowymi
• Doświadczenie w technicznym liderowaniu i mentoringu członków zespołu
• Bardzo dobra znajomość języka angielskiego - poziom C1
• Gotowość do wizyt w biurze w Krakowie - 1 raz w miesiącu

Mile widziane

• Doświadczenie w pracy z danymi finansowymi lub produktami ETF, a także znajomość zagadnień Data Modeling, Great Expectations lub Deequ