Senior Data Engineer

GS Services; Wrocław, Kraków; Remote; PLN 165,000 - 235,000; Full time

Benefits offered by this job

Współpraca B2B 100% zdalnie

Job summary

GS Services prowadzi długoterminowy projekt dla firmy z branży turystycznej. Senior Data Engineer będzie rozwijać i optymalizować platformę danych opartą na Microsoft Azure i Databricks, dbając o wysoką wydajność i niezawodność procesów przetwarzania danych.

Zakres obejmuje projektowanie ETL/ELT, migracje, orkiestrację danych, Unity Catalog i DLT, a także automatyzację infrastruktury i monitorowanie. Praca zdalna na zasadach B2B, stawka 145 PLN/h netto, wymóg B2/B2B.

Qualifications

• Doświadczenie na stanowisku Data Engineer lub Senior Data Engineer.
• Bardzo dobra znajomość Python, SQL i Apache Spark.
• Praktyczne doświadczenie z Microsoft Azure oraz Azure Databricks.
• Znajomość Azure Data Factory, Azure Data Lake i Azure Synapse Analytics.
• Doświadczenie w projektowaniu i utrzymywaniu procesów ETL/ELT.
• Doświadczenie w pracy z Delta Live Tables (DLT) i Unity Catalog.
• Znajomość architektury Lakehouse.
• Doświadczenie w pracy z CI/CD i Azure DevOps.
• Znajomość zagadnień związanych z automatyzacją infrastruktury, monitorowaniem i logowaniem.
• Angielski na poziomie min. B2

Responsibilities

• Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań do przetwarzania danych w środowisku Azure.
• Budowanie i optymalizacja procesów ETL/ELT z wykorzystaniem Python, SQL i Apache Spark.
• Rozwijanie rozwiązań opartych na Azure Databricks, Azure Data Factory, Azure Synapse Analytics i Azure Data Lake.
• Tworzenie i utrzymywanie przepływów danych oraz procesów orkiestracji, w tym rozwiązań Delta Live Tables (DLT).
• Wspieranie migracji i modernizacji platformy danych, w tym wdrażania Unity Catalog.
• Zapewnianie jakości, bezpieczeństwa, niezawodności i wysokiej wydajności przetwarzania danych.
• Diagnozowanie i rozwiązywanie problemów w środowisku produkcyjnym.
• Udział w automatyzacji infrastruktury, wdrażaniu CI/CD oraz monitorowaniu procesów.
• Optymalizacja potoków danych i kosztów infrastruktury.
• Współpraca z architektami danych, analitykami i zespołami biznesowymi przy projektowaniu rozwiązań technicznych.
• Wspieranie inicjatyw związanych z analityką, raportowaniem i AI/ML.

Skills

Python

SQL

Apache Spark

Azure

CI/CD

Tools

Azure Databricks

Azure Data Factory

Azure Synapse Analytics

Azure Data Lake

Unity Catalog

Delta Live Tables

Azure DevOps

Job description

Senior Data Enginner (Azure, Databricks) poszukiwany!

Dołącz do długoterminowego projektu realizowanego dla globalnej firmy z branży turystycznej, specjalizującej się w rejsach rzecznych, morskich i oceanicznych oraz wyprawach ekspedycyjnych. Klient zarządza rozbudowaną flotą i dużymi wolumenami danych wykorzystywanych w procesach operacyjnych, finansowych, raportowych i analitycznych. Poszukujemy doświadczonego Senior Data Engineera, który będzie rozwijać i optymalizować nowoczesną platformę danych opartą na technologiach Microsoft Azure i Databricks.

Stawka: 145 pln/h netto Współpraca: B2B 100% zdalnie

Twoje codzienne zadania:

• Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań do przetwarzania danych w środowisku Azure.
• Budowanie i optymalizacja procesów ETL/ELT z wykorzystaniem Python, SQL i Apache Spark.
• Rozwijanie rozwiązań opartych na Azure Databricks, Azure Data Factory, Azure Synapse Analytics i Azure Data Lake.
• Tworzenie i utrzymywanie przepływów danych oraz procesów orkiestracji, w tym rozwiązań Delta Live Tables (DLT).
• Wspieranie migracji i modernizacji platformy danych, w tym wdrażania Unity Catalog.
• Zapewnianie jakości, bezpieczeństwa, niezawodności i wysokiej wydajności przetwarzania danych.
• Diagnozowanie i rozwiązywanie problemów w środowisku produkcyjnym.
• Udział w automatyzacji infrastruktury, wdrażaniu CI/CD oraz monitorowaniu procesów.
• Optymalizacja potoków danych i kosztów infrastruktury.
• Współpraca z architektami danych, analtykami i zespołami biznesowymi przy projektowaniu rozwiązań technicznych.
• Wspieranie inicjatyw związanych z analityką, raportowaniem i AI/ML.

Must have:

• Doświadczenie na stanowisku Data Engineer lub Senior Data Engineer.
• Bardzo dobra znajomość Python, SQL i Apache Spark.
• Praktyczne doświadczenie z Microsoft Azure oraz Azure Databricks.
• Znajomość Azure Data Factory, Azure Data Lake i Azure Synapse Analytics.
• Doświadczenie w projektowaniu i utrzymywaniu procesów ETL/ELT.
• Doświadczenie w pracy z Delta Live Tables (DLT) i Unity Catalog.
• Znajomość architektury Lakehouse.
• Doświadczenie w pracy z CI/CD i Azure DevOps.
• Znajomość zagadnień związanych z automatyzacją infrastruktury, monitorowaniem i logowaniem.
• Umiejętność diagnozowania problemów i optymalizacji rozwiązań przetwarzających duże wolumeny danych.
• Angielski na poziomie min. B2