Senior Data Engineer

Clurgo Ltd.; Gliwice; Remote; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Praca zdalna

Kontrakt B2B

Job summary

Clurgo Ltd. poszukuje doświadczonego Inżyniera danych, specjalizującego się w Azure i przetwarzaniu dużych zestawów danych. Oferta dotyczy projektów związanych z tworzeniem i modernizacją architektury Data Lakehouse, ETL/ELT pipelines i optymalizacją kosztów.

Wymaga praktycznej znajomości Spark, Python oraz Azure Databricks, Data Factory, Data Lake i Synapse. Praca w modelu B2B z możliwością pracy zdalnej. Kandydat powinien mieć co najmniej 5 lat doświadczenia i dobrać umiejętności w zakresie

Qualifications

• min. 5 lat doświadczenia w Data Engineering, dobra znajomość Spark i Python
• praktyczne doświadczenie z platformą Microsoft Azure (Databricks, Data Factory, Data Lake)
• znajomość SQL, projektowanie i optymalizacja pipeline’ów ETL/ELT
• doświadczenie z Databricks, Delta Live Tables (DLT) i Unity Catalog
• znajomość Azure DevOps, CI/CD oraz dobre inżynierskie praktyki
• znajomość Power BI i potrzeby rozwiązań analitycznych
• komunikacja po angielsku na poziomie C1

Responsibilities

• projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w środowisku Azure
• tworzenie i optymalizacja pipeline’ów ETL/ELT dla różnych obszarów biznesowych
• rozwój rozwiązań do przetwarzania danych z Python, SQL i Apache Spark
• budowa i utrzymanie workflowów Databricks, DLT i metadanych
• udział w migracji i modernizacji platform danych, Unity Catalog i transformacje
• współpraca z architektami danych i interesariuszami biznesowymi
• zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych
• automatyzacja CI/CD i Azure DevOps, udział w code review
• optymalizacja pipeline’ów i kosztów, wsparcie raportowania i AI/ML

Skills

Apache Spark

Python

SQL

Power BI

CI/CD

English (C1)

Tools

Azure Databricks

Azure Data Factory

Azure Data Lake

Azure Synapse Analytics

Azure Data Explorer

Databricks

Unity Catalog

Delta Live Tables (DLT)

Job description

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

Dołącz do projektu realizowanego we współpracy z firmą technologiczną, w którym będziesz rozwijać skalowalne rozwiązania danych w ekosystemie Microsoft Azure. Będziesz odpowiadać za projektowanie i rozwój pipeline’ów ETL/ELT, przetwarzanie danych w Apache Spark i Azure Databricks oraz rozwój architektury Data Lakehouse. Rola obejmuje również modernizację platform danych, optymalizację wydajności i kosztów oraz zapewnienie jakości, bezpieczeństwa i niezawodności rozwiązań produkcyjnych.

Technologie i narzędzia: Apache Spark, Python, SQL, Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics, Azure Data Explorer, Azure DevOps, Delta Live Tables (DLT), Unity Catalog, CI/CD, Power BI.

Szukamy Ciebie, jeśli:

masz minimum 5 lat doświadczenia w obszarze Data Engineering i bardzo dobrze znasz Apache Spark oraz Python,

masz praktyczne doświadczenie w pracy z platformą Microsoft Azure, w szczególności Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics i Azure Data Explorer,

dobrze znasz SQL i potrafisz projektować oraz optymalizować procesy przetwarzania danych, w tym pipeline’y ETL/ELT,

masz doświadczenie z Databricks, a także znasz zagadnienia związane z Delta Live Tables (DLT), Unity Catalog i zarządzaniem metadanymi,

masz doświadczenie z Azure DevOps i CI/CD oraz stosujesz dobre praktyki inżynierskie w projektowaniu, testowaniu i wdrażaniu rozwiązań danych,

znasz Power BI i rozumiesz potrzeby rozwiązań analitycznych oraz raportowych,

potrafisz samodzielnie diagnozować problemy produkcyjne, optymalizować wydajność i koszty oraz współpracować z architektami, zespołami platformowymi i interesariuszami biznesowymi,

posługujesz się językiem angielskim na poziomie C1

Zadania:

projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w środowisku Azure, w szczególności z wykorzystaniem Azure Databricks i architektury Data Lakehouse,

tworzenie i optymalizacja pipeline’ów ETL/ELT służących do pobierania, transformowania i udostępniania danych z różnych obszarów biznesowych,

rozwój rozwiązań do przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark,

budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków opartych na metadanych oraz procesów orkiestracji,

udział w migracji i modernizacji platform danych, w tym wdrażaniu Unity Catalog, aktualizacjach platformy i transformacji rozwiązań,

współpraca z architektami danych, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne,

zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych oraz diagnozowanie problemów produkcyjnych i analiza ich przyczyn,

automatyzacja procesów wdrażania z wykorzystaniem CI/CD i Azure DevOps oraz udział w code review i utrzymywaniu standardów inżynierskich,

optymalizacja pipeline’ów, struktur danych i obciążeń przetwarzania w celu poprawy efektywności i ograniczenia kosztów,

wspieranie inicjatyw związanych z raportowaniem, analityką i AI/ML poprzez dostarczanie wiarygodnych i skalowalnych fundamentów danych

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B
• pracy zdalnej