Azure Data Engineer: Data Lake & ETL Architect

Sii; Województwo mazowieckie; On-site; PLN 180,000 - 260,000; Full time

Job summary

Sii w Polsce poszukuje doświadczonego specjalisty Data & Analytics, który będzie projektował i rozwijał skalowalne platformy przetwarzania danych o architekturze Data Lake/Data Platform. Praca obejmuje tworzenie i utrzymywanie pipeline’ów ETL/ELT w środowisku Azure Databricks oraz modelowanie danych dostosowanych do potrzeb analitycznych.

Wymagamy minimum 4 lat doświadczenia, biegłej znajomości SQL i Pythona, doświadczenia z Apache Spark/PySpark, Azure Data Factory, Synapse i Fabric, a także

Qualifications

• Co najmniej 4 lata doświadczenia w przetwarzaniu i integracji dużych wolumenów danych.
• Bardzo dobra znajomość SQL oraz Python.
• Doświadczenie z Apache Spark / PySpark.
• Praktyczne projektowanie Data Lake i Data Warehouse.
• Budowanie i utrzymywanie pipeline’ów ETL/ELT oraz pracy z orkiestracją danych.
• Komercyjne doświadczenie w chmurze Microsoft Azure (Databricks, ADF, Synapse, Fabric).
• Znajomość angielskiego na dobrej komunikatywnej
• Polski płynny

Responsibilities

• Projektowanie i rozwijanie skalowalnych platform przetwarzania danych (Data Lake/Data Platform).
• Tworzenie i utrzymanie ETL/ELT pipeline’ów do integracji danych ze źródeł oraz ich przetwarzanie w Azure Databricks.
• Modelowanie danych i przygotowywanie struktur dopasowanych do potrzeb analitycznych i biznesowych.
• Implementacja rozwiązań do przetwarzania danych (batch i near real-time).
• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów i procesów.
• Współpraca z analitykami danych, BI i Data Science w zakresie przygotowania i udostępniania danych.
• Zbieranie wymagań biznesowych oraz proponowanie optymalnych rozwiązań technologicznych.
• Tworzenie i utrzymywanie dokumentacji technicznej oraz mentoring mniej doświadczonych członków zespołu.

Skills

SQL

Python

Apache Spark

Data Lake

Data Warehouse

ETL/ELT pipelines

Azure Databricks

Azure Data Factory

Synapse

Fabric

Tools

Azure Databricks

Azure Data Factory

Synapse

Fabric

Job description

Sii w Polsce poszukuje doświadczonego specjalisty Data & Analytics, który będzie projektował i rozwijał skalowalne platformy przetwarzania danych o architekturze Data Lake/Data Platform. Praca obejmuje tworzenie i utrzymywanie pipeline’ów ETL/ELT w środowisku Azure Databricks oraz modelowanie danych dostosowanych do potrzeb analitycznych.

Wymagamy minimum 4 lat doświadczenia, biegłej znajomości SQL i Pythona, doświadczenia z Apache Spark/PySpark, Azure Data Factory, Synapse i Fabric, a także