Azure Data Engineer: Lakehouse + ETL/Databricks

Sii Sp. z o.o.; Polska; Híbrido; PLN 180.000 - 280.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Prywatna opieka medyczna

Platforma kafeteryjna

Szkolenia i rozwój

Descripción de la vacante

Sii Sp. z o.o. w Polsce poszukuje doświadczonego specjalisty ds.

danych do Centrum Kompetencyjnego Data & Analytics. Będziesz projektować i rozwijać skalowalne platformy przetwarzania danych w architekturze Data Lake / Data Platform, tworzyć pipeline’y ETL/ELT w środowisku Azure Databricks i Data Factory. Wymagana jest biegła znajomość SQL i Python oraz doświadczenie z Azure Synapse i Fabric; mile widziane migracje do chmury i praca w środowisku rozproszonych przetwarzań.

Formación

• Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych
• Bardzo dobra znajomość SQL oraz Python
• Doświadczenie w pracy z frameworkami do przetwarzania danych takimi jak Apache Spark / PySpark
• Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse
• Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT i pracy z narzędziami do orkiestracji i integracji danych
• Komercyjne doświadczenie w projektach opartych na Microsoft Azure w obszarze przetwarzania danych
• Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych
• Umiejętność swobodnej komunikacji w języku angielskim
• Płynna znajomość języka polskiego
• Wymagane przebywanie na terenie Polski

Responsabilidades

• Projektowanie, budowanie i rozwijanie skalowalnych platform przetwarzania danych w architekturze Data Lake / Data Platform
• Tworzenie oraz utrzymanie pipeline’ów ETL/ELT do integracji danych z różnych źródeł w Azure Databricks
• Modelowanie danych i przygotowywanie struktur danych dla analiz biznesowych
• Implementacja rozwiązań do przetwarzania danych (batch i near real-time)
• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów i procesów przetwarzania danych
• Współpraca z analitykami danych, zespołami BI i Data Science w zakresie przygotowania i udostępniania danych
• Zbieranie wymagań biznesowych i proponowanie optymalnych rozwiązań technologicznych
• Tworzenie i utrzymywanie dokumentacji technicznej dla rozwijanych rozwiązań
• Wspieranie i mentoring mniej doświadczonych członków zespołu i dzielenie się wiedzą

Conocimientos

SQL

Python

Spark / PySpark

ETL/ELT Pipelines

English (communication)

Polish (native)

Herramientas

Azure Databricks

Azure Data Factory

Azure Synapse

Fabric

Descripción del empleo

Sii Sp. z o.o. w Polsce poszukuje doświadczonego specjalisty ds.

danych do Centrum Kompetencyjnego Data & Analytics. Będziesz projektować i rozwijać skalowalne platformy przetwarzania danych w architekturze Data Lake / Data Platform, tworzyć pipeline’y ETL/ELT w środowisku Azure Databricks i Data Factory. Wymagana jest biegła znajomość SQL i Python oraz doświadczenie z Azure Synapse i Fabric; mile widziane migracje do chmury i praca w środowisku rozproszonych przetwarzań.