Azure Data Engineer

Infotree Global Solutions Inc.; Polska; On-site; PLN 180,000 - 270,000; Full time

Job summary

Infotree Global Solutions Inc. w Polsce poszukuje specjalisty ds. danych do projektowania i rozwoju pipeline’ów danych oraz rozwiązań opartych o Azure Databricks i Pythona.

Wymaga doświadczenia z Azure Data Lake, Data Factory, Synapse, Data Products (Unity Catalog) oraz pracy z API REST, ETL, modelowaniem danych i Agile; oferujemy współpracę z zespołami biznesowymi i solidne środowisko CI/CD.

Qualifications

• Bardzo dobra znajomość Azure Databricks, Pythona i Apache Spark.
• Doświadczenie z usługami Azure: Data Lake (ADLS Gen2), Data Factory/Synapse.
• Znajomość REST API lub podobnych interfejsów.
• Doświadczenie w projektowaniu ETL i modelowaniu danych.
• Podstawowa znajomość architektury danych.
• Doświadczenie z CI/CD i Git.
• Umiejętność rozwiązywania problemów i pracy w metodykach Agile.
• Dobre umiejętności komunikacyjne zarówno z biznesem, jak i zespołami technicznymi.

Responsibilities

• Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python
• Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse)
• Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog)
• Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne
• Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami
• Integracja rozwiązań danych z innymi systemami w organizacji
• Usprawnianie wydajności, skalowalności i kosztów rozwiązań

Skills

Azure Databricks

Python

Apache Spark

Tools

Azure Data Lake (ADLS Gen2)

Data Factory

Synapse

REST API

ETL design

CI/CD

GIT

Job description

Zakres obowiązków:

• Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python

• Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse)

• Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog)

• Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne

• Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami

• Integracja rozwiązań danych z innymi systemami w organizacji

• Usprawnianie wydajności, skalowalności i kosztów rozwiązań

Wymagania:

• Bardzo dobra znajomość:

  • Azure Databricks

  • Python

  • Apache Spark

• Doświadczenie z usługami Azure:

  • Data Lake (ADLS Gen2)

  • Data Factory / Synapse

• Znajomość API (REST lub podobne)

• Doświadczenie w projektowaniu ETL oraz modelowaniu danych

• Podstawowa znajomość architektury danych

• Doświadczenie z CI/CD i Git

• Umiejętność rozwiązywania problemów i pracy w metodykach Agile

• Dobre umiejętności komunikacyjne (współpraca z biznesem i zespołami technicznymi)

Mile widziane:

• Doświadczenie z przetwarzaniem dużych zbiorów danych (big data, streaming)

• Znajomość Unity Catalog oraz zasad data governance

• Doświadczenie z narzędziami wizualizacji danych (np. Power BI)

• Znajomość Databricks Asset Bundles