Cloud Data Engineer | Azure Data Lake & ETL (Remote)

Katowice IT; Katowice; Hybrid; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Prywatna opieka zdrowotna

Platforma kafeteryjna

Zniżki na samochody

Job summary

Sii Sp. z o.o. w Katowicach poszukuje specjalisty ds. przetwarzania danych i analityki do projektowania i rozwijania platform Data Lake/Data Platform.

Będziesz tworzyć pipeline’y ETL/ELT w środowisku Azure Databricks oraz modelować dane pod potrzeby analityczne. Wymagane minimum 4 lata doświadczenia z przetwarzaniem dużych wolumenów danych, dobra znajomość SQL, Pythona oraz Spark/PySpark. Praca w zespołach BI i Data Science, możliwość mentoringu oraz rozwój kompetencji w Data & Analytics w

Qualifications

• Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych.
• Bardzo dobra znajomość SQL oraz Python.
• Doświadczenie w pracy z frameworkami do przetwarzania danych takimi jak Apache Spark / PySpark.
• Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse.
• Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT oraz pracy z narzędziami do orkiestracji i integracji danych.
• Komercyjne doświadczenie w projektach opartych o rozwiązania chmurowe Microsoft Azure w obszarze przetwarzania danych (Databricks, Azure Data Factory, Synapse, Fabric).
• Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych.
• Umiejętność swobodnej komunikacji w języku angielskim.
• Wymagana płynna znajomość języka polskiego.

Responsibilities

• Projektowanie i rozwijanie platform Data Lake / Data Platform.
• Tworzenie oraz utrzymywanie pipeline’ów ETL/ELT w Azure Databricks.
• Modelowanie danych i przygotowywanie struktur danych pod analitykę.
• Implementacja rozwiązań do przetwarzania danych (batch i near real-time).
• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów i procesów przetwarzania danych.
• Współpraca z analitykami danych, zespołami BI i Data Science w zakresie przygotowania i udostępniania danych.
• Zbieranie wymagań biznesowych oraz proponowanie optymalnych rozwiązań technologicznych.
• Tworzenie i utrzymywanie dokumentacji technicznej.
• Wsparcie oraz mentoring mniej doświadczonych członków zespołu.

Skills

SQL

Python

Apache Spark / PySpark

ETL/ELT pipelines

Data Lake / Data Platform

Data Warehouse

Azure Databricks

Azure Data Factory

Synapse

Fabric

English

Polish

Tools

Azure Databricks

Azure Data Factory

Synapse

Fabric

Job description

Sii Sp. z o.o. w Katowicach poszukuje specjalisty ds. przetwarzania danych i analityki do projektowania i rozwijania platform Data Lake/Data Platform.

Będziesz tworzyć pipeline’y ETL/ELT w środowisku Azure Databricks oraz modelować dane pod potrzeby analityczne. Wymagane minimum 4 lata doświadczenia z przetwarzaniem dużych wolumenów danych, dobra znajomość SQL, Pythona oraz Spark/PySpark. Praca w zespołach BI i Data Science, możliwość mentoringu oraz rozwój kompetencji w Data & Analytics w