Data Engineer (Data Integration & Quality)

Scalo; Wrocław; Hybrid; PLN 124,000 - 207,000; Full time

Benefits offered by this job

Opieka medyczna

Karta sportowa

Platforma kafeteryjna

Job summary

Scalo we Wrocławiu poszukuje specjalisty ds. data engineering, który wesprze projekt związany z przygotowaniem danych pod modelowanie oraz budową spójnej i kompletnej historii danych wykorzystywanych w procesach modelowych.

Zakres obejmuje projektowanie i rozwój warstw danych oraz procesów ich zasilania. Wymagane co najmniej 6 lat doświadczenia z danymi, bardzo dobra znajomość SQL, praktyczna znajomość Python oraz Apache Airflow.

Qualifications

• Minimum 6 years of commercial data experience including building data layers, data integration or analytical solutions.
• Bardzo dobra znajomość SQL na zaawansowanym poziomie.
• Praktyczna znajomość Pythona.
• Doświadczenie z narzędziami do automatyzacji/orkiestracji danych (np. Apache Airflow).
• Doświadczenie w integracji/mappingu danych z wielu źródeł, ich ujednoliceniu i definiowaniu reguł transformacji.
• Doświadczenie w definiowaniu i utrzymywaniu reguł jakości danych.
• Dobre rozumienie architektury przepływu danych.
• Doświadczenie w realizacji projektów z wieloma zespołami.
• Umiejętność planowania działań i zarządzania zależnościami.
• Umiejętność przekładania potrzeb na konkretne rozwiązania.
• Komunikowanie decyzji, ryzyk i konsekwencji.
• Samodzielność i ownership.
• Znajomość angielskiego min. B2.

Responsibilities

• Udział w projekcie związanym z przygotowaniem danych pod modelowanie oraz budową historii danych.
• Projektowanie i rozwój warstw danych oraz procesów ich zasilania.
• Integracja danych z wielu źródeł, ich czyszczenie, ujednolicanie, transformacja i walidacja.
• Analiza potrzeb i planowanie kolejnych etapów realizacji rozwiązań data engineeringowych.
• Koordynacja przepływu informacji między uczestnikami projektu i zespołami w Agile.

Skills

SQL

Python

Airflow

Data integration

Data mapping

Data quality rules

Data architecture

Cross-team collaboration

Planning & prioritization

Ownerhip

English (B2)

Tools

Apache Airflow

Job description

Zakres współpracy

udział w projekcie związanym z przygotowaniem danych pod modelowanie oraz budową spójnej i kompletnej historii danych wykorzystywanych w procesach modelowych

projektowanie i rozwój warstw danych oraz procesów ich zasilania

integracja danych pochodzących z wielu źródeł, ich czyszczenie, ujednolicanie, transformacja i walidacja

analiza potrzeb oraz planowanie kolejnych etapów realizacji rozwiązań data engineeringowych

prowadzenie uzgodnień z właścicielami danych, odbiorcami biznesowymi oraz zespołami technicznymi

organizacja i prowadzenie spotkań oraz warsztatów, przygotowywanie rekomendacji, podsumowań i kolejnych kroków

definiowanie mapowań, reguł transformacji oraz reguł jakości danych

rozwój procesów przetwarzania danych z wykorzystaniem przede wszystkim SQL, Python i Airflow

wsparcie testów, code review, wdrożeń i odbiorów przygotowanych rozwiązań

dokumentowanie źródeł danych, mapowań, reguł biznesowych, transformacji oraz decyzji projektowych

identyfikacja zależności, ryzyk i problemów oraz inicjowanie działań prowadzących do ich rozwiązania

koordynacja przepływu informacji pomiędzy uczestnikami projektu oraz dbanie o jasny podział odpowiedzialności i domykanie ustaleń

współpraca z wieloma zespołami w środowisku Agile

lokalizacja projektu: Wrocław

tryb realizacji usług: zdalnie, z wizytą we Wrocławiu ok. 1 raz na 6 miesięcy

budżet projektu: do 150 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług

Kompetencje wymagane

• minimum 6 lat doświadczenia komercyjnego w pracy z danymi, w tym przy budowie warstw danych, integracji danych lub rozwiązaniach analitycznych
• bardzo dobra, praktyczna znajomość SQL na poziomie zaawansowanym
• praktyczna znajomość Python
• doświadczenie z narzędziami do automatyzacji lub orkiestracji procesów danych, np. Apache Airflow
• doświadczenie w integracji i mapowaniu danych z wielu źródeł, ich ujednoliceniu oraz definiowaniu reguł transformacji
• doświadczenie w definiowaniu, weryfikacji i utrzymywaniu reguł jakości danych
• dobre rozumienie architektury przepływu danych – od systemów źródłowych, przez przetwarzanie i transformację, po warstwy udostępniane odbiorcom
• doświadczenie w realizacji projektów angażujących wiele zespołów i interesariuszy
• umiejętność planowania działań, ustalania priorytetów oraz zarządzania zależnościami projektowymi
• umiejętność strukturyzowania niejednoznacznych potrzeb oraz przekładania ich na konkretne rozwiązania i działania
• doświadczenie w prowadzeniu uzgodnień technicznych i biznesowych oraz komunikowaniu decyzji, ryzyk i konsekwencji
• samodzielność i ownership w prowadzeniu powierzonych obszarów od analizy do wdrożenia
• znajomość języka angielskiego na poziomie minimum B2

Mile widziane

• doświadczenie w prowadzeniu lub koordynowaniu projektu, strumienia prac lub złożonej inicjatywy data angażującej wiele zespołów
• doświadczenie w projektach związanych z przygotowaniem danych na potrzeby modelowania lub zaawansowanej analityki
• doświadczenie w prowadzeniu warsztatów i uzgodnień pomiędzy zespołami biznesowymi i technicznymi

Co oferujemy

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services
• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie
• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy