Data Engineer (Data Integration & Quality)

Solid Company; Wrocław; Hybrid; PLN 180,000 - 260,000; Full time

Job summary

Solid Company w Polsce poszukuje doświadczonego inżyniera danych. Rola obejmuje projektowanie i rozwój warstw danych oraz procesów ich zasilania, integrację danych z wielu źródeł, ich czyszczenie, ujednolicanie i walidację.

Wymagana jest praktyczna znajomość SQL, Pythona i Apache Airflow oraz umiejętność pracy w zespole Agile. Wymagane minimum 6 lat doświadczenia w pracy z danymi, umiejętność planowania i zarządzania zależnościami projektowymi, komunikacja z interesariuszami oraz ownership

Qualifications

• Wysoki poziom praktycznej znajomości SQL.
• Praktyczna znajomość Pythona.
• Doświadczenie z narzędziami do automatyzacji/orkiestrowania danych (np. Apache Airflow).
• Doświadczenie w integracji danych z wielu źródeł i definiowaniu reguł transformacji.

Responsibilities

• Projektowanie i rozwijanie warstw danych oraz procesów ich zasilania.
• Integracja danych z wielu źródeł, czyszczenie, ujednolicanie, transformacja i walidacja.
• Analiza potrzeb i planowanie kolejnych etapów rozwiązań data engineeringowych.
• Koordynacja przepływu informacji między uczestnikami projektu i zespołami w środowisku Agile.
• Prowadzenie spotkań i warsztatów, przygotowywanie rekomendacji i kolejnych kroków.

Skills

SQL

Python

Apache Airflow

Data integration

Data modeling

Data architecture

Agile

Stakeholder management

Ownership

Tools

Apache Airflow

Job description

• udział w projekcie związanym z przygotowaniem danych pod modelowanie, budową spójnej i kompletnej historii danych wykorzystywanych w procesach modelowych
• projektowanie i rozwój warstw danych oraz procesów ich zasilania
• integracja danych pochodzących z wielu źródeł, ich czyszczenie, ujednolicanie, transformacja i walidacja
• analiza potrzeb oraz planowanie kolejnych etapów realizacji rozwiązań data engineeringowych
• prowadzenie uzgodnień z właścicielami danych, odbiorcami biznesowymi oraz zespołami technicznymi
• organizacja i prowadzenie spotkań oraz warsztatów, przygotowywanie rekomendacji, podsumowań i kolejnych kroków
• definiowanie mapowań, reguł transformacji oraz reguł jakości danych
• rozwój procesów przetwarzania danych z wykorzystaniem przede wszystkim SQL, Python i Airflow
• wsparcie testów, code review, wdrożeń i odbiorów przygotowanych rozwiązań
• dokumentowanie źródeł danych, mapowań, reguł biznesowych, transformacji i decyzji projektowych
• identyfikacja zależności, ryzyk i problemów oraz inicjowanie działań prowadzących do ich rozwiązania
• koordynacja przepływu informacji pomiędzy uczestnikami projektu i dbanie o jasny podział odpowiedzialności i domykanie ustaleń
• współpraca z wieloma zespołami w środowisku Agile
• tryb realizacji usług: zdalnie, z wizytą we Wrocławiu 1 raz na 6 msc

Kogo poszukujemy?

• minimum 6 lat doświadczenia komercyjnego w pracy z danymi, w tym przy budowie warstw danych, integracji danych lub rozwiązaniach analitycznych
• bardzo dobra, praktyczna znajomość SQL na poziomie zaawansowanym
• praktyczna znajomość Python
• doświadczenie z narzędziami do automatyzacji lub orkiestracji procesów danych, np. Apache Airflow
• doświadczenie w integracji i mapowaniu danych z wielu źródeł, ich ujednolicaniu oraz definiowaniu reguł transformacji,
• doświadczenie w definiowaniu, weryfikacji i utrzymywaniu reguł jakości danych
• dobre rozumienie architektury przepływu danych – od systemów źródłowych, przez przetwarzanie i transformację, po warstwy udostępniane odbiorcom
• doświadczenie w realizacji projektów angażujących wiele zespołów i interesariuszy
• umiejętność planowania działań, ustalania priorytetów oraz zarządzania zależnościami projektowymi
• umiejętność strukturyzowania niejednoznacznych potrzeb oraz przekładania ich na konkretne rozwiązania i działania
• doświadczenie w prowadzeniu uzgodnień technicznych i biznesowych oraz komunikowaniu decyzji, ryzyk i konsekwencji
• samodzielność i ownership w prowadzeniu powierzonych obszarów od analizy do wdrożenia
• język angielski na poziomie min. B2