Azure Data Engineer: Data Pipelines & Lakehouse Expert

Infotree Global Solutions Inc.; Polska; On-site; PLN 180,000 - 270,000; Full time

Job summary

Infotree Global Solutions Inc. w Polsce poszukuje specjalisty ds. danych do projektowania i rozwoju pipeline’ów danych oraz rozwiązań opartych o Azure Databricks i Pythona.

Wymaga doświadczenia z Azure Data Lake, Data Factory, Synapse, Data Products (Unity Catalog) oraz pracy z API REST, ETL, modelowaniem danych i Agile; oferujemy współpracę z zespołami biznesowymi i solidne środowisko CI/CD.

Qualifications

• Bardzo dobra znajomość Azure Databricks, Pythona i Apache Spark.
• Doświadczenie z usługami Azure: Data Lake (ADLS Gen2), Data Factory/Synapse.
• Znajomość REST API lub podobnych interfejsów.
• Doświadczenie w projektowaniu ETL i modelowaniu danych.
• Podstawowa znajomość architektury danych.
• Doświadczenie z CI/CD i Git.
• Umiejętność rozwiązywania problemów i pracy w metodykach Agile.
• Dobre umiejętności komunikacyjne zarówno z biznesem, jak i zespołami technicznymi.

Responsibilities

• Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python
• Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse)
• Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog)
• Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne
• Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami
• Integracja rozwiązań danych z innymi systemami w organizacji
• Usprawnianie wydajności, skalowalności i kosztów rozwiązań

Skills

Azure Databricks

Python

Apache Spark

Tools

Azure Data Lake (ADLS Gen2)

Data Factory

Synapse

REST API

ETL design

CI/CD

GIT

Job description

Infotree Global Solutions Inc. w Polsce poszukuje specjalisty ds. danych do projektowania i rozwoju pipeline’ów danych oraz rozwiązań opartych o Azure Databricks i Pythona.

Wymaga doświadczenia z Azure Data Lake, Data Factory, Synapse, Data Products (Unity Catalog) oraz pracy z API REST, ETL, modelowaniem danych i Agile; oferujemy współpracę z zespołami biznesowymi i solidne środowisko CI/CD.