Data Engineer z Microsoft Azure (f/m/x)

Sii Sp. z o.o.; Polska; Hybride; PLN 180 000 - 280 000; Plein temps

Avantages offerts par ce poste

Prywatna opieka medyczna

Platforma kafeteryjna

Szkolenia i rozwój

Résumé du poste

Sii Sp. z o.o. w Polsce poszukuje doświadczonego specjalisty ds.

danych do Centrum Kompetencyjnego Data & Analytics. Będziesz projektować i rozwijać skalowalne platformy przetwarzania danych w architekturze Data Lake / Data Platform, tworzyć pipeline’y ETL/ELT w środowisku Azure Databricks i Data Factory. Wymagana jest biegła znajomość SQL i Python oraz doświadczenie z Azure Synapse i Fabric; mile widziane migracje do chmury i praca w środowisku rozproszonych przetwarzań.

Qualifications

• Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych
• Bardzo dobra znajomość SQL oraz Python
• Doświadczenie w pracy z frameworkami do przetwarzania danych takimi jak Apache Spark / PySpark
• Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse
• Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT i pracy z narzędziami do orkiestracji i integracji danych
• Komercyjne doświadczenie w projektach opartych na Microsoft Azure w obszarze przetwarzania danych
• Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych
• Umiejętność swobodnej komunikacji w języku angielskim
• Płynna znajomość języka polskiego
• Wymagane przebywanie na terenie Polski

Responsabilités

• Projektowanie, budowanie i rozwijanie skalowalnych platform przetwarzania danych w architekturze Data Lake / Data Platform
• Tworzenie oraz utrzymanie pipeline’ów ETL/ELT do integracji danych z różnych źródeł w Azure Databricks
• Modelowanie danych i przygotowywanie struktur danych dla analiz biznesowych
• Implementacja rozwiązań do przetwarzania danych (batch i near real-time)
• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów i procesów przetwarzania danych
• Współpraca z analitykami danych, zespołami BI i Data Science w zakresie przygotowania i udostępniania danych
• Zbieranie wymagań biznesowych i proponowanie optymalnych rozwiązań technologicznych
• Tworzenie i utrzymywanie dokumentacji technicznej dla rozwijanych rozwiązań
• Wspieranie i mentoring mniej doświadczonych członków zespołu i dzielenie się wiedzą

Connaissances

SQL

Python

Spark / PySpark

ETL/ELT Pipelines

English (communication)

Polish (native)

Outils

Azure Databricks

Azure Data Factory

Azure Synapse

Fabric

Description du poste

Nasze wymagania:

• Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych
• Bardzo dobra znajomość SQL oraz Python
• Doświadczenie w pracy z frameworkami do przetwarzania danych takimi jak Apache Spark / PySpark
• Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse
• Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT oraz pracy z narzędziami do orkiestracji i integracji danych
• Komercyjne doświadczenie w projektach opartych na rozwiązaniach chmurowych Microsoft Azure w obszarze przetwarzania danych (np. Databricks, Azure Data Factory, Synapse, Fabric)
• Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych
• Umiejętność swobodnej komunikacji w języku angielskim
• Wymagana płynna znajomość języka polskiego
• Wymagane przebywanie na terenie Polski

Mile widziane:

• Doświadczenie w projektach związanych z migracją danych z on-premise do chmury (bazy danych: Oracle, PostgreSQL, MS SQL)

O projekcie:

Dołącz do Centrum Kompetencyjnego Data & Analytics i twórz rozwiązania, które pomagają organizacjom skutecznie wykorzystywać potencjał danych. Będziesz pracować przy projektach opartych na technologiach Microsoft Azure, wykorzystujących m.in. Azure Databricks, Data Factory, Synapse czy Fabric. To także przestrzeń do wymiany wiedzy i poszerzania kompetencji w obszarach Data Science, Big Data i Machine Learning.

Zakres obowiązków:

• Projektowanie, budowanie i rozwijanie skalowalnych oraz wysokowydajnych platform przetwarzania danych w architekturze Data Lake / Data Platform
• Tworzenie oraz utrzymanie pipeline’ów ETL/ELT do integracji danych z różnych źródeł oraz ich przetwarzania w środowisku Azure Databricks
• Modelowanie danych oraz przygotowywanie struktur danych dostosowanych do potrzeb analitycznych i biznesowych
• Implementacja rozwiązań do przetwarzania danych (batch i/lub near real-time)
• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów oraz procesów przetwarzania danych
• Współpraca z analitykami danych, zespołami BI oraz Data Science w zakresie przygotowania i udostępniania danych
• Zbieranie wymagań biznesowych oraz proponowanie optymalnych rozwiązań technologicznych
• Tworzenie i utrzymywanie dokumentacji technicznej dla rozwijanych rozwiązań
• Wsparcie oraz mentoring mniej doświadczonych członków zespołu, dzielenie się wiedzą i najlepszymi praktykami

Oferujemy:

• Tytuł Great Place to Work od 2015 roku - to dzięki opiniom pracowników otrzymujemy tytuł i wdrażamy nowe pomysły
• Stabilność zatrudnienia - 2,1 MLD PLN przychodu, brak długów, od 2006 roku na rynku
• Dzielimy się zyskiem z pracownikami - od 2022 roku przeznaczyliśmy na ten cel już ponad 76 milionów PLN
• Bogaty pakiet benefitów - prywatna opieka zdrowotna, platforma kafeteryjna, zniżki na samochody i więcej
• Komfortowe miejsce pracy - pracuj w naszych biurach klasy A lub zdalnie
• Dziesiątki fascynujących projektów dla prestiżowych marek z całego świata - możesz je zmieniać dzięki aplikacji Job Changer
• 1 000 000 PLN rocznie na Twoje pomysły - taką kwotą wspieramy pasje i akcje wolontariackie naszych pracowników
• Stawiamy na Twój rozwój - meetupy, webinary, platforma szkoleniowa i blog technologiczny – Ty wybierasz
• Fantastyczna atmosfera stworzona przez wszystkich Sii Power People