Senior Data Engineer

Clurgo; Województwo mazowieckie; À distance; PLN 180 000 - 260 000; Plein temps

Avantages offerts par ce poste

Praca zdalna

Kontrakt B2B

Feedback w procesie rekrutacyjnym

Résumé du poste

Clurgo Ltd. to firma technologiczna tworząca rozwiązania dla developerów i klientów na całym świecie.

Do naszego zespołu szukamy specjalisty Data Engineering, który będzie projektował i rozwijał skalowalne pipeline’y danych w środowisku Azure Databricks i architekturze Data Lakehouse. Do obowiązków należy migracja i modernizacja platform danych, zarządzanie metadadami i zapewnienie jakości danych, a także implementacja CI/CD i współpraca z architektami oraz interesariuszami biznesowymi.

Qualifications

• Minimum 5 lat doświadczenia w Data Engineering, bardzo dobra znajomość Apache Spark i Pythona.
• Doświadczenie z platformą Microsoft Azure, zwłaszcza Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics i Azure Data Explorer.
• Dobry SQL oraz projektowanie i optymalizacja procesów przetwarzania danych (ETL/ELT).
• Doświadczenie z Databricks, Delta Live Tables (DLT), Unity Catalog i metadanymi.
• Doświadczenie z Azure DevOps i CI/CD; dobre praktyki inżynierskie.
• Wiedza z Power BI i potrzeb analitycznych raportowych.
• Umiejętność diagnozowania problemów produkcyjnych, optymalizacji wydajności i kosztów.
• Znajomość angielskiego na poziomie C1.

Responsabilités

• Projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w Azure, z wykorzystaniem Databricks i Data Lakehouse.
• Tworzenie i optymalizacja pipeline’ów ETL/ELT do pobierania, transformowania i udostępniania danych.
• Rozwój rozwiązań w Pythonie, SQL oraz Apache Spark.
• Budowa i utrzymanie workflowów Databricks, DLT i frameworków opartych na metadanych.
• Udział w migracji i modernizacji platform danych, Unity Catalog, aktualizacje i transformacje.
• Współpraca z architektami danych, analitykami i interesariuszami biznesowymi.
• Zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych; diagnozowanie przyczyn problemów.
• Automatyzacja wdrożeń za pomocą CI/CD i Azure DevOps; udział w code review.
• Optymalizacja pipeline’ów i obciążeń, wspieranie raportowania, analityki i AI/ML.

Connaissances

Apache Spark

Python

SQL

Azure Databricks

Azure Data Factory

Azure Data Lake

Azure Synapse Analytics

Azure Data Explorer

Azure DevOps

Delta Live Tables

Unity Catalog

CI/CD

Power BI

English C1

Outils

Azure Databricks

Azure Data Factory

Azure Data Lake

Azure Synapse Analytics

Azure Data Explorer

Azure DevOps

Delta Live Tables

Unity Catalog

CI/CD

Power BI

Description du poste

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

• Dołącz do projektu realizowanego we współpracy z firmą technologiczną, w którym będziesz rozwijać skalowalne rozwiązania danych w ekosystemie Microsoft Azure. Będziesz odpowiadać za projektowanie i rozwój pipeline’ów ETL/ELT, przetwarzanie danych w Apache Spark i Azure Databricks oraz rozwój architektury Data Lakehouse. Rola obejmuje również modernizację platform danych, optymalizację wydajności i kosztów oraz zapewnienie jakości, bezpieczeństwa i niezawodności rozwiązań produkcyjnych.
• Technologie i narzędzia: Apache Spark, Python, SQL, Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics, Azure Data Explorer, Azure DevOps, Delta Live Tables (DLT), Unity Catalog, CI/CD, Power BI.

Szukamy Ciebie, jeśli:

• masz minimum 5 lat doświadczenia w obszarze Data Engineering i bardzo dobrze znasz Apache Spark oraz Python,
• masz praktyczne doświadczenie w pracy z platformą Microsoft Azure, w szczególności Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics i Azure Data Explorer,
• dobrze znasz SQL i potrafisz projektować oraz optymalizować procesy przetwarzania danych, w tym pipeline’y ETL/ELT,
• masz doświadczenie z Databricks, a także znasz zagadnienia związane z Delta Live Tables (DLT), Unity Catalog i zarządzaniem metadanymi,
• masz doświadczenie z Azure DevOps i CI/CD oraz stosujesz dobre praktyki inżynierskie w projektowaniu, testowaniu i wdrażaniu rozwiązań danych,
• znasz Power BI i rozumiesz potrzeby rozwiązań analitycznych oraz raportowych,
• potrafisz samodzielnie diagnozować problemy produkcyjne, optymalizować wydajność i koszty oraz współpracować z architektami, zespołami platformowymi i interesariuszami biznesowymi,
• posługujesz się językiem angielskim na poziomie C1

Zadania:

• projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w środowisku Azure, w szczególności z wykorzystaniem Azure Databricks i architektury Data Lakehouse,
• tworzenie i optymalizacja pipeline’ów ETL/ELT służących do pobierania, transformowania i udostępniania danych z różnych obszarów biznesowych,
• rozwój rozwiązań do przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark,
• budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków opartych na metadanych oraz procesów orkiestracji,
• udział w migracji i modernizacji platform danych, w tym wdrażaniu Unity Catalog, aktualizacjach platformy i transformacji rozwiązań,
• współpraca z architektami danych, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne,
• zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych oraz diagnozowanie problemów produkcyjnych i analiza ich przyczyn,
• automatyzacja procesów wdrażania z wykorzystaniem CI/CD i Azure DevOps oraz udział w code review i utrzymywaniu standardów inżynierskich,
• optymalizacja pipeline’ów, struktur danych i obciążeń przetwarzania w celu poprawy efektywności i ograniczenia kosztów,
• wspieranie inicjatyw związanych z raportowaniem, analityką i AI/ML poprzez dostarczanie wiarygodnych i skalowalnych fundamentów danych

Czego możesz się spodziewać:

• współpraca w oparciu o kontrakt B2B
• pracy zdalnej
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji