Senior Data Engineer: Airflow, SQL & Data Quality

Scalosoft; Wrocław; Hybrid; PLN 165,000 - 248,000; Full time

Benefits offered by this job

Opieka medyczna

Karta sportowa

Platforma kafeteryjna

Job summary

Scalosoft poszukuje specjalisty ds. danych do realizacji projektów w formie współpracy. Lokalizacja: Wrocław, praca zdalna z wizytami we Wrocławiu ok. 1 raz na pół roku.

Zakres obejmuje przygotowanie danych pod modelowanie, projektowanie warstw danych i integrację źródeł z walidacją. Wymagane jest 6+ lat doświadczenia i biegła znajomość SQL, Pythona oraz Apache Airflow. Oferujemy elastyczny tryb współpracy oraz możliwość pracy nad projektami w obszarach Software, Data i Cloud.

Qualifications

• Minimum 6 lat doświadczenia komercyjnego w pracy z danymi.
• Bardzo dobra znajomość SQL na poziomie zaawansowanym.
• Praktyczna znajomość Pythona.
• Doświadczenie z narzędziami do automatyzacji/orkiestracji danych (np. Apache Airflow).
• Doświadczenie w integracji i mapowaniu danych z wielu źródeł oraz definiowaniu reguł transformacji.
• Doświadczenie w definiowaniu, weryfikacji i utrzymywaniu reguł jakości danych.
• Dobre zrozumienie architektury przepływu danych od źródeł do odbiorców.
• Doświadczenie w realizacji projektów z wieloma zespołami i interesariuszami.
• Umiejętność planowania, priorytetyzacji i zarządzania zależnościami.
• Angielski na poziomie minimum B2.

Responsibilities

• Udział w projekcie związanym z przygotowaniem danych pod modelowanie i tworzenie historii danych.
• Projektowanie i rozwój warstw danych oraz procesów zasilania.
• Integracja danych z wielu źródeł, ich czyszczenie i walidacja.
• Analiza potrzeb i planowanie kolejnych etapów rozwiązań data engineeringowych.
• Współpraca z właścicielami danych i zespołami technicznymi.
• Organizacja spotkań i warsztatów, przygotowywanie rekomendacji i kolejnych kroków.
• Definiowanie mapowań, reguł transformacji i reguł jakości danych.
• Rozwój procesów z wykorzystaniem SQL, Python i Airflow.
• Wspieranie testów, code review, wdrożeń i odbiorów.
• Dokumentowanie źródeł danych i decyzji projektowych.
• Identyfikacja zależności i ryzyk oraz inicjowanie działań naprawczych.
• Koordynacja przepływu informacji w zespole oraz definicja zakresu odpowiedzialności.

Skills

SQL (zaawansowany)

Python

Apache Airflow

Integracja danych

Mapowanie danych

Reguły jakości danych

Architektura przepływu danych

Współpraca z zespołami

Zarządzanie zależnościami projektowymi

Angielski (B2)

Tools

Airflow

Job description

Scalosoft poszukuje specjalisty ds. danych do realizacji projektów w formie współpracy. Lokalizacja: Wrocław, praca zdalna z wizytami we Wrocławiu ok. 1 raz na pół roku.

Zakres obejmuje przygotowanie danych pod modelowanie, projektowanie warstw danych i integrację źródeł z walidacją. Wymagane jest 6+ lat doświadczenia i biegła znajomość SQL, Pythona oraz Apache Airflow. Oferujemy elastyczny tryb współpracy oraz możliwość pracy nad projektami w obszarach Software, Data i Cloud.