Senior Data Engineer

Scalo Sp. z o.o.; Kraków; Remote; PLN 120,000 - 180,000; Full time

Job summary

Wiodąca firma IT w Krakowie poszukuje Test Engineer z doświadczeniem w Data Engineering. Oferujemy 100% zdalny projekt przy stawce do 160 zł/h. Wymagana znajomość dbt, Apache Spark i architektury Lakehouse. Oferujemy stabilną współpracę, różnorodne projekty oraz możliwość rozwoju jako Ambasador Scalo.

Benefits

Prywatna opieka medyczna - Luxmed

Kafeteryjny system benefitów - Motivizer

Dostęp do karty Multisport

Program poleceń pracowniczych z nagrodami

Qualifications

• Minimum 5 lat doświadczenia jako Data Engineer lub w pokrewnych rolach.
• Bardzo dobrze znasz dbt oraz Apache Spark.
• Doświadczenie z Apache Airflow (tworzenie DAG, retry, scheduling).
• Znajomość architektury Lakehouse i wdrażanie end-to-end.
• Bardzo dobra znajomość angielskiego (B2/C1).

Responsibilities

• Udział w budowie nowoczesnej platformy Data Lakehouse.
• Implementacja potoków ELT z systemów zewnętrznych.
• Projektowanie i budowa warstw Silver i Gold w Apache Iceberg.
• Praca z infrastrukturą opartą o Kubernetes, Terraform, Prometheus/Grafana.
• Realizacja projektu greenfield z wpływem na architekturę.

Skills

dbt (dbt-spark)

Apache Spark

Python

SQL

Apache Airflow

Kubernetes

Tools

Apache Iceberg

S3/CEPH

Job description

Test Engineer Kraków, Lesser Poland Voivodeship, Polska - HSBC Service Delivery (Polska) Sp. z o.o.

• W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.
• Obszary naszego działania to m. in. : doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.
• udział w budowie nowoczesnej platformy Data Lakehouse służącej do centralizacji danych CRM, marketingowych i operacyjnych
• implementacja potoków ELT z systemów zewnętrznych z wykorzystaniem Airflow, CEPH i dbt-spark
• projektowanie i budowa warstw Silver i Gold w Apache Iceberg wraz z optymalizacją
• integracja i konfiguracja środowiska analitycznego opartego o Trino oraz StarRocks
• udział w tworzeniu dashboardu POC w Apache Superset oraz integracja z OpenMetadata
• praca z infrastrukturą opartą o Kubernetes, FluxCD, Helm, Terraform, Prometheus/Grafana
• współpraca z doświadczonym zespołem DevOps, QA i PM w pełni zdalnym środowisku
• realizacja projektu greenfield, z realnym wpływem na architekturę i decyzje technologiczne
• 100 % zdalny projekt
• stawka do 160 zł/h przy B2B w zależności od doświadczenia
• masz minimum 5 lat doświadczenia jako Data Engineer lub w pokrewnych rolach danych
• bardzo dobrze znasz dbt (dbt-spark) oraz Apache Spark
• pracowałeś/aś z formatami tabelowymi Apache Iceberg lub Hudi i rozumiesz ich mechanizmy ACID/UPSERT
• znasz Python oraz SQL na poziomie zaawansowanym
• masz doświadczenie z Apache Airflow (tworzenie DAG, retry, scheduling)
• rozumiesz architekturę Lakehouse (Bronze → Silver → Gold) i potrafisz ją wdrażać end-to-end
• masz doświadczenie w pracy z obiektowymi storage S3/CEPH
• potrafisz pracować autonomicznie, podejmować decyzje techniczne i dostarczać rozwiązania wysokiej jakości
• swobodnie komunikujesz się po angielsku w codziennej pracy (B2/C1 level)
• stabilną współpracę i różnorodne projekty (Software, Embedded, Data, Cloud Services)
• możliwość rozwoju kompetencji jako Ambasador Scalo - doskonal skille techniczne i presalesowe w społeczności naszych ekspertów, wpływaj na rozwój organizacji, wspieraj innych
• przestrzeń do budowania marki osobistej - twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako prelegent na wydarzeniach (np. ProMeet)
• prywatną opiekę medyczną - Luxmed
• kafeteryjny system benefitów - Motivizer
• dostęp do karty Multisport
• program poleceń pracowniczych z nagrodami