Senior Data Engineer - Azure & Databricks (Remote)

GS Services; Wrocław, Kraków; Remote; PLN 165,000 - 235,000; Full time

Benefits offered by this job

Współpraca B2B 100% zdalnie

Job summary

GS Services prowadzi długoterminowy projekt dla firmy z branży turystycznej. Senior Data Engineer będzie rozwijać i optymalizować platformę danych opartą na Microsoft Azure i Databricks, dbając o wysoką wydajność i niezawodność procesów przetwarzania danych.

Zakres obejmuje projektowanie ETL/ELT, migracje, orkiestrację danych, Unity Catalog i DLT, a także automatyzację infrastruktury i monitorowanie. Praca zdalna na zasadach B2B, stawka 145 PLN/h netto, wymóg B2/B2B.

Qualifications

• Doświadczenie na stanowisku Data Engineer lub Senior Data Engineer.
• Bardzo dobra znajomość Python, SQL i Apache Spark.
• Praktyczne doświadczenie z Microsoft Azure oraz Azure Databricks.
• Znajomość Azure Data Factory, Azure Data Lake i Azure Synapse Analytics.
• Doświadczenie w projektowaniu i utrzymywaniu procesów ETL/ELT.
• Doświadczenie w pracy z Delta Live Tables (DLT) i Unity Catalog.
• Znajomość architektury Lakehouse.
• Doświadczenie w pracy z CI/CD i Azure DevOps.
• Znajomość zagadnień związanych z automatyzacją infrastruktury, monitorowaniem i logowaniem.
• Angielski na poziomie min. B2

Responsibilities

• Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań do przetwarzania danych w środowisku Azure.
• Budowanie i optymalizacja procesów ETL/ELT z wykorzystaniem Python, SQL i Apache Spark.
• Rozwijanie rozwiązań opartych na Azure Databricks, Azure Data Factory, Azure Synapse Analytics i Azure Data Lake.
• Tworzenie i utrzymywanie przepływów danych oraz procesów orkiestracji, w tym rozwiązań Delta Live Tables (DLT).
• Wspieranie migracji i modernizacji platformy danych, w tym wdrażania Unity Catalog.
• Zapewnianie jakości, bezpieczeństwa, niezawodności i wysokiej wydajności przetwarzania danych.
• Diagnozowanie i rozwiązywanie problemów w środowisku produkcyjnym.
• Udział w automatyzacji infrastruktury, wdrażaniu CI/CD oraz monitorowaniu procesów.
• Optymalizacja potoków danych i kosztów infrastruktury.
• Współpraca z architektami danych, analitykami i zespołami biznesowymi przy projektowaniu rozwiązań technicznych.
• Wspieranie inicjatyw związanych z analityką, raportowaniem i AI/ML.

Skills

Python

SQL

Apache Spark

Azure

CI/CD

Tools

Azure Databricks

Azure Data Factory

Azure Synapse Analytics

Azure Data Lake

Unity Catalog

Delta Live Tables

Azure DevOps

Job description

GS Services prowadzi długoterminowy projekt dla firmy z branży turystycznej. Senior Data Engineer będzie rozwijać i optymalizować platformę danych opartą na Microsoft Azure i Databricks, dbając o wysoką wydajność i niezawodność procesów przetwarzania danych.

Zakres obejmuje projektowanie ETL/ELT, migracje, orkiestrację danych, Unity Catalog i DLT, a także automatyzację infrastruktury i monitorowanie. Praca zdalna na zasadach B2B, stawka 145 PLN/h netto, wymóg B2/B2B.