Senior PySpark Data Engineer - ETL/ELT & Azure

ASTEK Polska; Kraków; Hybrid; PLN 180,000 - 260,000; Full time

Job summary

ASTEK Polska poszukuje specjalisty ds. data engineering na Kraków. Do zadań należy projektowanie, rozwijanie i utrzymywanie skalowalnych potoków danych z wykorzystaniem PySpark i Pythona oraz budowa procesów ETL/ELT do obsługi dużych wolumenów danych.

Wymagane doświadczenie: 6–10 lat w IT, 4–5 lat z PySpark i Pythonem, silna znajomość Azure Data Factory, SQL i modelowania danych; dobra znajomość architektur data lake/lakehouse oraz praktyki DevOps.

Qualifications

• 6–10 lat doświadczenia w IT
• 4–5 lat praktycznego doświadczenia w pracy z PySpark i Python
• Bardzo dobra znajomość zasad data engineeringu oraz nowoczesnych architektur przetwarzania danych
• Udokumentowane doświadczenie w zakresie PySpark (Spark SQL, DataFrames, optymalizacja wydajności)
• Udokumentowane doświadczenie w programowaniu i tworzeniu aplikacji w Pythonie
• Udokumentowane doświadczenie w budowie i orkiestracji procesów w Azure Data Factory (ADF)
• Dobra znajomość technik optymalizacji danych: partycjonowanie, cache'owanie, optymalizacja joinów, optymalizacja zapytań
• Doświadczenie w pracy z rozproszonymi systemami przetwarzania dużych wolumenów danych
• Dobra znajomość SQL, baz danych oraz modelowania danych
• Bardzo dobre umiejętności analityczne i rozwiązywania problemów

Responsibilities

• Projektowanie, rozwijanie i utrzymywanie skalowalnych potoków danych z wykorzystaniem PySpark i Python
• Budowanie i optymalizacja procesów ETL/ELT do przetwarzania dużych wolumenów danych
• Tworzenie wydajnego, wielokrotnego użytku kodu z naciskiem na optymalizację
• Przetwarzanie i zarządzanie danymi strukturalnymi oraz niestrukturalnymi pochodzącymi z różnych źródeł
• Wdrażanie najlepszych praktyk związanych z data engineeringiem, optymalizacją wydajności i jakością kodu
• Tworzenie, orkiestracja i monitorowanie procesów danych przy użyciu Azure Data Factory (ADF)
• Współpraca z Data Scientistami, Data Analystami, Architektami Rozwiązań oraz innymi interesariuszami
• Zapewnienie jakości, niezawodności i integralności danych na wszystkich platformach danych
• Identyfikowanie i rozwiązywanie problemów wydajnościowych w potokach przetwarzania danych
• Udział w dyskusjach dotyczących architektury danych oraz inicjatywach związanych z ciągłym doskonaleniem

Skills

PySpark

Python

Azure Data Factory

SQL

Data engineering

Data processing architectures

Cloud technologies

DevOps practices

Data governance

Tools

Azure Databricks

Job description

ASTEK Polska poszukuje specjalisty ds. data engineering na Kraków. Do zadań należy projektowanie, rozwijanie i utrzymywanie skalowalnych potoków danych z wykorzystaniem PySpark i Pythona oraz budowa procesów ETL/ELT do obsługi dużych wolumenów danych.

Wymagane doświadczenie: 6–10 lat w IT, 4–5 lat z PySpark i Pythonem, silna znajomość Azure Data Factory, SQL i modelowania danych; dobra znajomość architektur data lake/lakehouse oraz praktyki DevOps.