Senior Data Engineer - Azure Databricks, Remote

Clurgo Ltd.; Gliwice; Remote; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Praca zdalna

Kontrakt B2B

Job summary

Clurgo Ltd. poszukuje doświadczonego Inżyniera danych, specjalizującego się w Azure i przetwarzaniu dużych zestawów danych. Oferta dotyczy projektów związanych z tworzeniem i modernizacją architektury Data Lakehouse, ETL/ELT pipelines i optymalizacją kosztów.

Wymaga praktycznej znajomości Spark, Python oraz Azure Databricks, Data Factory, Data Lake i Synapse. Praca w modelu B2B z możliwością pracy zdalnej. Kandydat powinien mieć co najmniej 5 lat doświadczenia i dobrać umiejętności w zakresie

Qualifications

• min. 5 lat doświadczenia w Data Engineering, dobra znajomość Spark i Python
• praktyczne doświadczenie z platformą Microsoft Azure (Databricks, Data Factory, Data Lake)
• znajomość SQL, projektowanie i optymalizacja pipeline’ów ETL/ELT
• doświadczenie z Databricks, Delta Live Tables (DLT) i Unity Catalog
• znajomość Azure DevOps, CI/CD oraz dobre inżynierskie praktyki
• znajomość Power BI i potrzeby rozwiązań analitycznych
• komunikacja po angielsku na poziomie C1

Responsibilities

• projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w środowisku Azure
• tworzenie i optymalizacja pipeline’ów ETL/ELT dla różnych obszarów biznesowych
• rozwój rozwiązań do przetwarzania danych z Python, SQL i Apache Spark
• budowa i utrzymanie workflowów Databricks, DLT i metadanych
• udział w migracji i modernizacji platform danych, Unity Catalog i transformacje
• współpraca z architektami danych i interesariuszami biznesowymi
• zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych
• automatyzacja CI/CD i Azure DevOps, udział w code review
• optymalizacja pipeline’ów i kosztów, wsparcie raportowania i AI/ML

Skills

Apache Spark

Python

SQL

Power BI

CI/CD

English (C1)

Tools

Azure Databricks

Azure Data Factory

Azure Data Lake

Azure Synapse Analytics

Azure Data Explorer

Databricks

Unity Catalog

Delta Live Tables (DLT)

Job description

Clurgo Ltd. poszukuje doświadczonego Inżyniera danych, specjalizującego się w Azure i przetwarzaniu dużych zestawów danych. Oferta dotyczy projektów związanych z tworzeniem i modernizacją architektury Data Lakehouse, ETL/ELT pipelines i optymalizacją kosztów.

Wymaga praktycznej znajomości Spark, Python oraz Azure Databricks, Data Factory, Data Lake i Synapse. Praca w modelu B2B z możliwością pracy zdalnej. Kandydat powinien mieć co najmniej 5 lat doświadczenia i dobrać umiejętności w zakresie