Data Engineer with Microsoft Azure (f/m/x)

Sii; Województwo mazowieckie; On-site; PLN 180,000 - 260,000; Full time

Job summary

Sii w Polsce poszukuje doświadczonego specjalisty Data & Analytics, który będzie projektował i rozwijał skalowalne platformy przetwarzania danych o architekturze Data Lake/Data Platform. Praca obejmuje tworzenie i utrzymywanie pipeline’ów ETL/ELT w środowisku Azure Databricks oraz modelowanie danych dostosowanych do potrzeb analitycznych.

Wymagamy minimum 4 lat doświadczenia, biegłej znajomości SQL i Pythona, doświadczenia z Apache Spark/PySpark, Azure Data Factory, Synapse i Fabric, a także

Qualifications

• Co najmniej 4 lata doświadczenia w przetwarzaniu i integracji dużych wolumenów danych.
• Bardzo dobra znajomość SQL oraz Python.
• Doświadczenie z Apache Spark / PySpark.
• Praktyczne projektowanie Data Lake i Data Warehouse.
• Budowanie i utrzymywanie pipeline’ów ETL/ELT oraz pracy z orkiestracją danych.
• Komercyjne doświadczenie w chmurze Microsoft Azure (Databricks, ADF, Synapse, Fabric).
• Znajomość angielskiego na dobrej komunikatywnej
• Polski płynny

Responsibilities

• Projektowanie i rozwijanie skalowalnych platform przetwarzania danych (Data Lake/Data Platform).
• Tworzenie i utrzymanie ETL/ELT pipeline’ów do integracji danych ze źródeł oraz ich przetwarzanie w Azure Databricks.
• Modelowanie danych i przygotowywanie struktur dopasowanych do potrzeb analitycznych i biznesowych.
• Implementacja rozwiązań do przetwarzania danych (batch i near real-time).
• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów i procesów.
• Współpraca z analitykami danych, BI i Data Science w zakresie przygotowania i udostępniania danych.
• Zbieranie wymagań biznesowych oraz proponowanie optymalnych rozwiązań technologicznych.
• Tworzenie i utrzymywanie dokumentacji technicznej oraz mentoring mniej doświadczonych członków zespołu.

Skills

SQL

Python

Apache Spark

Data Lake

Data Warehouse

ETL/ELT pipelines

Azure Databricks

Azure Data Factory

Synapse

Fabric

Tools

Azure Databricks

Azure Data Factory

Synapse

Fabric

Job description

Dołącz do Centrum Kompetencyjnego Data & Analytics i twórz rozwiązania, które pomagają organizacjom skutecznie wykorzystywać potencjał danych. Będziesz pracować przy projektach opartych na technologiach Microsoft Azure, wykorzystujących m.in. Azure Databricks, Data Factory, Synapse czy Fabric. To także przestrzeń do wymiany wiedzy i poszerzania kompetencji w obszarach Data Science, Big Data i Machine Learning.

Twoje zadania

• Projektowanie, budowanie i rozwijanie skalowalnych oraz wysokowydajnych platform przetwarzania danych w architekturze Data Lake / Data Platform
• Tworzenie oraz utrzymanie pipeline’ów ETL/ELT do integracji danych z różnych źródeł oraz ich przetwarzania w środowisku Azure Databricks
• Modelowanie danych oraz przygotowywanie struktur danych dostosowanych do potrzeb analitycznych i biznesowych
• Implementacja rozwiązań do przetwarzania danych (batch i/lub near real-time)
• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów oraz procesów przetwarzania danych
• Współpraca z analitykami danych, zespołami BI oraz Data Science w zakresie przygotowania i udostępniania danych
• Zbieranie wymagań biznesowych oraz proponowanie optymalnych rozwiązań technologicznych
• Tworzenie i utrzymywanie dokumentacji technicznej dla rozwijanych rozwiązań
• Wsparcie oraz mentoring mniej doświadczonych członków zespołu, dzielenie się wiedzą i najlepszymi praktykami

Wymagania

• Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych
• Bardzo dobra znajomość SQL oraz Python
• Doświadczenie w pracy z frameworkami do przetwarzania danych takimi jak Apache Spark / PySpark
• Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse
• Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT oraz pracy z narzędziami do orkiestracji i integracji danych
• Komercyjne doświadczenie w projektach opartych na rozwiązaniach chmurowych Microsoft Azure w obszarze przetwarzania danych (np. Databricks, Azure Data Factory, Synapse, Fabric)
• Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych
• Umiejętność swobodnej komunikacji w języku angielskim
• Wymagana płynna znajomość języka polskiego
• Wymagane przebywanie na terenie Polski

Mile widziane

• Doświadczenie w projektach związanych z migracją danych z on-premise do chmury (bazy danych: Oracle, PostgreSQL, MS SQL)