Senior Data Engineer

Clurgo Ltd.; Polska; Hybrid; PLN 180,000 - 300,000; Full time

Benefits offered by this job

Remote work

B2B contract

Interview feedback

Job summary

Clurgo Ltd. zaprasza do dołączenia do zespołu zajmującego się skalowalnymi rozwiązaniami danych w ekosystemie Microsoft Azure. Będziesz projektować i rozwijać pipeline’y ETL/ELT, przetwarzać dane w Apache Spark i Azure Databricks oraz rozwijać architekturę Data Lakehouse.

Wymagane jest min. 5 lat doświadczenia w Data Engineering, doskonała znajomość Spark i Pythona oraz praktyczna znajomość platformy Azure (Databricks, Data Factory, Data Lake, Synapse, Data Explorer).

Qualifications

• Minimum 5 years of experience in Data Engineering.
• Very good knowledge of Apache Spark and Python.
• Hands-on experience with Microsoft Azure platform, especially Databricks, Data Factory, Data Lake, Synapse and Data Explorer.

Responsibilities

• Projektowanie, rozwój i utrzymanie rozwiązań danych w Azure Databricks i Data Lakehouse.
• Tworzenie i optymalizacja pipeline’ów ETL/ELT oraz przetwarzanie danych Python/SQL/Spark.
• Współpraca z architektami danych, zespołami platformowymi i interesariuszami biznesowymi.

Skills

Apache Spark

Python

SQL

Azure Databricks

Azure Data Factory

Azure Data Lake

Azure Synapse

Azure Data Explorer

CI/CD

Power BI

Databricks

ETL/ELT

Unity Catalog

Tools

Delta Live Tables (DLT)

Unity Catalog

Databricks

Job description

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

Dołącz do projektu realizowanego we współpracy z firmą technologiczną, w którym będziesz rozwijać skalowalne rozwiązania danych w ekosystemie Microsoft Azure. Będziesz odpowiadać za projektowanie i rozwój pipeline’ów ETL/ELT, przetwarzanie danych w Apache Spark i Azure Databricks oraz rozwój architektury Data Lakehouse. Rola obejmuje również modernizację platform danych, optymalizację wydajności i kosztów oraz zapewnienie jakości, bezpieczeństwa i niezawodności rozwiązań produkcyjnych.

Technologie i narzędzia: Apache Spark, Python, SQL, Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics, Azure Data Explorer, Azure DevOps, Delta Live Tables (DLT), Unity Catalog, CI/CD, Power BI.

Szukamy Ciebie, jeśli:

masz minimum 5 lat doświadczenia w obszarze Data Engineering i bardzo dobrze znasz Apache Spark oraz Python,

masz praktyczne doświadczenie w pracy z platformą Microsoft Azure, w szczególności Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics i Azure Data Explorer,

dobrze znasz SQL i potrafisz projektować oraz optymalizować procesy przetwarzania danych, w tym pipeline’y ETL/ELT,

masz doświadczenie z Databricks, a także znasz zagadnienia związane z Delta Live Tables (DLT), Unity Catalog i zarządzaniem metadanymi,

masz doświadczenie z Azure DevOps i CI/CD oraz stosujesz dobre praktyki inżynierskie w projektowaniu, testowaniu i wdrażaniu rozwiązań danych,

znasz Power BI i rozumiesz potrzeby rozwiązań analitycznych oraz raportowych,

potrafisz samodzielnie diagnozować problemy produkcyjne, optymalizować wydajność i koszty oraz współpracować z architektami, zespołami platformowymi i interesariuszami biznesowymi,

posługujesz się językiem angielskim na poziomie C1

Zadania:

projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w środowisku Azure, w szczególności z wykorzystaniem Azure Databricks i architektury Data Lakehouse,

tworzenie i optymalizacja pipeline’ów ETL/ELT służących do pobierania, transformowania i udostępniania danych z różnych obszarów biznesowych,

rozwój rozwiązań do przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark,

budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków opartych na metadanych oraz procesów orkiestracji,

udział w migracji i modernizacji platform danych, w tym wdrażaniu Unity Catalog, aktualizacjach platformy i transformacji rozwiązań,

współpraca z architektami danych, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne,

zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych oraz diagnozowanie problemów produkcyjnych i analiza ich przyczyn,

automatyzacja procesów wdrażania z wykorzystaniem CI/CD i Azure DevOps oraz udział w code review i utrzymywaniu standardów inżynierskich,

optymalizacja pipeline’ów, struktur danych i obciążeń przetwarzania w celu poprawy efektywności i ograniczenia kosztów,

wspieranie inicjatyw związanych z raportowaniem, analityką i AI/ML poprzez dostarczanie wiarygodnych i skalowalnych fundamentów danych

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B
• pracy zdalnej
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji