Azure Data Engineer: Data Lake, ETL & Spark

Sii Polska; Polska; Remote; PLN 180,000 - 280,000; Full time

Job summary

Sii Polska poszukuje specjalisty Data & Analytics do pracy nad projektami wykorzystującymi Microsoft Azure (Databricks, Data Factory, Synapse, Fabric). Dołączysz do Centrum Kompetencyjnego i będziesz realizować zadania z Data Science, Big Data i ML.

Wymagane jest co najmniej 4 lata doświadczenia, doskonała znajomość SQL i Python oraz praktyka z Apache Spark/PySpark. Praca w zespole, kontakt z BI i Data Science, a także umiejętność komunikacji po angielsku i płynna znajomość polskiego.

Qualifications

• Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych.
• Bardzo dobra znajomość SQL oraz Python.
• Doświadczenie w pracy z Apache Spark / PySpark.
• Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse
• Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT oraz pracy z narzędziami do orkiestracji i integracji danych
• Komercyjne doświadczenie w projektach opartych na rozwiązaniach chmurowych Microsoft Azure w obszarze przetwarzania danych (np. Databricks, Azure Data Factory, Synapse, Fabric)
• Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych
• Umiejętność swobodnej komunikacji w języku angielskim
• Wymagana płynna znajomość języka polskiego
• Wymagane przebywanie na terenie Polski

Responsibilities

• Projektowanie, budowanie i rozwijanie skalowalnych oraz wysokowydajnych platform przetwarzania danych w architekturze Data Lake / Data Platform
• Tworzenie oraz utrzymanie pipeline’ów ETL/ELT do integracji danych z różnych źródeł oraz ich przetwarzania w środowisku Azure Databricks
• Modelowanie danych oraz przygotowywanie struktur danych dostosowanych do potrzeb analitycznych i biznesowych
• Implementacja rozwiązań do przetwarzania danych (batch i/lub near real-time)
• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów oraz procesów przetwarzania danych
• Współpraca z analitykami danych, zespołami BI oraz Data Science w zakresie przygotowania i udostępniania danych
• Zbieranie wymagań biznesowych oraz proponowanie optymalnych rozwiązań technologicznych
• Tworzenie i utrzymywanie dokumentacji technicznej dla rozwijanych rozwiązań
• Wsparcie oraz mentoring mniej doświadczonych członków zespołu, dzielenie się wiedzą i najlepszymi praktykami

Job description

Sii Polska poszukuje specjalisty Data & Analytics do pracy nad projektami wykorzystującymi Microsoft Azure (Databricks, Data Factory, Synapse, Fabric). Dołączysz do Centrum Kompetencyjnego i będziesz realizować zadania z Data Science, Big Data i ML.

Wymagane jest co najmniej 4 lata doświadczenia, doskonała znajomość SQL i Python oraz praktyka z Apache Spark/PySpark. Praca w zespole, kontakt z BI i Data Science, a także umiejętność komunikacji po angielsku i płynna znajomość polskiego.