Senior Data Engineer - Data Lake & ETL/ELT Pipelines

Scalo; Warszawa; Hybrid; PLN 124,000 - 207,000; Full time

Benefits offered by this job

Pełna opieka medyczna

Karta MultiSport

Motivizer benefits

Job summary

Scalo poszukuje specjalisty ds. danych, który wesprze projekt budowy platformy danych (Data Lake/ Data Warehouse) z technologiami Oracle, PostgreSQL, Google BigQuery, Informatica PowerCenter, Kafka i Pub/Sub. Rola obejmuje projektowanie i rozwój pipeline’ów ETL/ELT oraz optymalizację zapytań SQL w środowisku Linux i Python.

Praca w modelu hybrydowym – raz w tygodniu w biurze w Warszawie. W zakresie obowiązków znajdzie się analiza danych, modelowanie logiczne i fizyczne, tworzenie procesów

Qualifications

• Doświadczenie w projektowaniu hurtowni danych i budowie pipeline’ów ETL/ELT.
• Znajomość relacyjnych baz danych (Oracle, PostgreSQL) i SQL.
• Wiedza o Google BigQuery, Informatica PowerCenter, Kafka, Pub/Sub.
• Doświadczenie z Linuxem i Pythonem; znajomość Apache Airflow, Spark, Rust będzie dodatkowym atutem.

Responsibilities

• Projektowanie i rozwój pipeline’ów ETL/ELT oraz hurtowni danych i Data Lake.
• Analiza danych, modelowanie logiczne i fizyczne, optymalizacja zapytań SQL.
• Tworzenie procesów przetwarzania danych online oraz offline; wsparcie testów i wdrożeń.
• Rozwiązywanie incydentów i problemów produkcyjnych; praca w zespole data platform.
• Udział w integracjach i bieżących projektach w środowisku Linux.

Job description

Scalo poszukuje specjalisty ds. danych, który wesprze projekt budowy platformy danych (Data Lake/ Data Warehouse) z technologiami Oracle, PostgreSQL, Google BigQuery, Informatica PowerCenter, Kafka i Pub/Sub. Rola obejmuje projektowanie i rozwój pipeline’ów ETL/ELT oraz optymalizację zapytań SQL w środowisku Linux i Python.

Praca w modelu hybrydowym – raz w tygodniu w biurze w Warszawie. W zakresie obowiązków znajdzie się analiza danych, modelowanie logiczne i fizyczne, tworzenie procesów