Senior Data Engineer - Remote (Azure Data Lakehouse & Spark)

Clurgo Ltd.

Województwo mazowieckie

Remote

PLN 180,000 - 260,000

Full time

5 days ago

Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Praca zdalna

Kontrakt B2B

Feedback w procesie rekrutacyjnym

Job summary

Clurgo Ltd. to firma technologiczna tworząca rozwiązania dla developerów i klientów na całym świecie.

Do naszego zespołu szukamy specjalisty Data Engineering, który będzie projektował i rozwijał skalowalne pipeline’y danych w środowisku Azure Databricks i architekturze Data Lakehouse. Do obowiązków należy migracja i modernizacja platform danych, zarządzanie metadadami i zapewnienie jakości danych, a także implementacja CI/CD i współpraca z architektami oraz interesariuszami biznesowymi.

Qualifications

Minimum 5 lat doświadczenia w Data Engineering, bardzo dobra znajomość Apache Spark i Pythona.
Doświadczenie z platformą Microsoft Azure, zwłaszcza Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics i Azure Data Explorer.
Dobry SQL oraz projektowanie i optymalizacja procesów przetwarzania danych (ETL/ELT).
Doświadczenie z Databricks, Delta Live Tables (DLT), Unity Catalog i metadanymi.
Doświadczenie z Azure DevOps i CI/CD; dobre praktyki inżynierskie.
Wiedza z Power BI i potrzeb analitycznych raportowych.
Umiejętność diagnozowania problemów produkcyjnych, optymalizacji wydajności i kosztów.
Znajomość angielskiego na poziomie C1.

Responsibilities

Projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w Azure, z wykorzystaniem Databricks i Data Lakehouse.
Tworzenie i optymalizacja pipeline’ów ETL/ELT do pobierania, transformowania i udostępniania danych.
Rozwój rozwiązań w Pythonie, SQL oraz Apache Spark.
Budowa i utrzymanie workflowów Databricks, DLT i frameworków opartych na metadanych.
Udział w migracji i modernizacji platform danych, Unity Catalog, aktualizacje i transformacje.
Współpraca z architektami danych, analitykami i interesariuszami biznesowymi.
Zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych; diagnozowanie przyczyn problemów.
Automatyzacja wdrożeń za pomocą CI/CD i Azure DevOps; udział w code review.
Optymalizacja pipeline’ów i obciążeń, wspieranie raportowania, analityki i AI/ML.