Data Engineer (Data Integration & Quality) room Wrocław

Scalosoft; Wrocław; Hybrid; PLN 165,000 - 248,000; Full time

Benefits offered by this job

Opieka medyczna

Karta sportowa

Platforma kafeteryjna

Job summary

Scalosoft poszukuje specjalisty ds. danych do realizacji projektów w formie współpracy. Lokalizacja: Wrocław, praca zdalna z wizytami we Wrocławiu ok. 1 raz na pół roku.

Zakres obejmuje przygotowanie danych pod modelowanie, projektowanie warstw danych i integrację źródeł z walidacją. Wymagane jest 6+ lat doświadczenia i biegła znajomość SQL, Pythona oraz Apache Airflow. Oferujemy elastyczny tryb współpracy oraz możliwość pracy nad projektami w obszarach Software, Data i Cloud.

Qualifications

• Minimum 6 lat doświadczenia komercyjnego w pracy z danymi.
• Bardzo dobra znajomość SQL na poziomie zaawansowanym.
• Praktyczna znajomość Pythona.
• Doświadczenie z narzędziami do automatyzacji/orkiestracji danych (np. Apache Airflow).
• Doświadczenie w integracji i mapowaniu danych z wielu źródeł oraz definiowaniu reguł transformacji.
• Doświadczenie w definiowaniu, weryfikacji i utrzymywaniu reguł jakości danych.
• Dobre zrozumienie architektury przepływu danych od źródeł do odbiorców.
• Doświadczenie w realizacji projektów z wieloma zespołami i interesariuszami.
• Umiejętność planowania, priorytetyzacji i zarządzania zależnościami.
• Angielski na poziomie minimum B2.

Responsibilities

• Udział w projekcie związanym z przygotowaniem danych pod modelowanie i tworzenie historii danych.
• Projektowanie i rozwój warstw danych oraz procesów zasilania.
• Integracja danych z wielu źródeł, ich czyszczenie i walidacja.
• Analiza potrzeb i planowanie kolejnych etapów rozwiązań data engineeringowych.
• Współpraca z właścicielami danych i zespołami technicznymi.
• Organizacja spotkań i warsztatów, przygotowywanie rekomendacji i kolejnych kroków.
• Definiowanie mapowań, reguł transformacji i reguł jakości danych.
• Rozwój procesów z wykorzystaniem SQL, Python i Airflow.
• Wspieranie testów, code review, wdrożeń i odbiorów.
• Dokumentowanie źródeł danych i decyzji projektowych.
• Identyfikacja zależności i ryzyk oraz inicjowanie działań naprawczych.
• Koordynacja przepływu informacji w zespole oraz definicja zakresu odpowiedzialności.

Skills

SQL (zaawansowany)

Python

Apache Airflow

Integracja danych

Mapowanie danych

Reguły jakości danych

Architektura przepływu danych

Współpraca z zespołami

Zarządzanie zależnościami projektowymi

Angielski (B2)

Tools

Airflow

Job description

Cześć! Poznaj możliwości współpracy ze Scalo!

Zakres współpracy obejmuje:

• udział w projekcie związanym z przygotowaniem danych pod modelowanie oraz budową spójnej i kompletnej historii danych wykorzystywanych w procesach modelowych,
• projektowanie i rozwój warstw danych oraz procesów ich zasilania,
• integracja danych pochodzących z wielu źródeł, ich czyszczenie, ujednolicanie, transformacja i walidacja,
• analiza potrzeb oraz planowanie kolejnych etapów realizacji rozwiązań data engineeringowych,
• prowadzenie uzgodnień z właścicielami danych, odbiorcami biznesowymi oraz zespołami technicznymi,
• organizacja i prowadzenie spotkań oraz warsztatów, przygotowywanie rekomendacji, podsumowań i kolejnych kroków,
• definiowanie mapowań, reguł transformacji oraz reguł jakości danych,
• rozwój procesów przetwarzania danych z wykorzystaniem przede wszystkim SQL, Python i Airflow,
• wsparcie testów, code review, wdrożeń i odbiorów przygotowanych rozwiązań,
• dokumentowanie źródeł danych, mapowań, reguł biznesowych, transformacji oraz decyzji projektowych,
• identyfikacja zależności, ryzyk i problemów oraz inicjowanie działań prowadzących do ich rozwiązania,
• koordynacja przepływu informacji pomiędzy uczestnikami projektu oraz dbanie o jasny podział odpowiedzialności i domykanie ustaleń,
• współpraca z wieloma zespołami w środowisku Agile,
• lokalizacja projektu: Wrocław,
• tryb realizacji usług: zdalnie, z wizytą we Wrocławiu ok. 1 raz na 6 miesięcy,
• budżet projektu: do 150 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.

Kompetencje wymagane do realizacji usług:

• minimum 6 lat doświadczenia komercyjnego w pracy z danymi, w tym przy budowie warstw danych, integracji danych lub rozwiązaniach analitycznych,
• bardzo dobra, praktyczna znajomość SQL na poziomie zaawansowanym,
• praktyczna znajomość Python,
• doświadczenie z narzędziami do automatyzacji lub orkiestracji procesów danych, np. Apache Airflow,
• doświadczenie w integracji i mapowaniu danych z wielu źródeł, ich ujednoliceniu oraz definiowaniu reguł transformacji,
• doświadczenie w definiowaniu, weryfikacji i utrzymywaniu reguł jakości danych,
• dobre rozumienie architektury przepływu danych – od systemów źródłowych, przez przetwarzanie i transformację, po warstwy udostępniane odbiorcom,
• doświadczenie w realizacji projektów angażujących wiele zespołów i interesariuszy,
• umiejętność planowania działań, ustalania priorytetów oraz zarządzania zależnościami projektowymi,
• umiejętność strukturyzowania niejednoznacznych potrzeb oraz przekładania ich na konkretne rozwiązania i działania,
• doświadczenie w prowadzeniu uzgodnień technicznych i biznesowych oraz komunikowaniu decyzji, ryzyk i konsekwencji,
• samodzielność i ownership w prowadzeniu powierzonych obszarów od analizy do wdrożenia,
• znajomość języka angielskiego na poziomie minimum B2.

Mile widziane:

• doświadczenie w prowadzeniu lub koordynowaniu projektu, strumienia prac lub złożonej inicjatywy data angażującej wiele zespołów,
• doświadczenie w projektach związanych z przygotowaniem danych na potrzeby modelowania lub zaawansowanej analityki,
• doświadczenie w prowadzeniu warsztatów i uzgodnień pomiędzy zespołami biznesowymi i technicznymi.

Co oferujemy w ramach współpracy?

Różnorodne projekty technologiczne

Realizacja projektów z obszaru Software, Embedded, Data, Cloud Services i AI.

Inicjatywy eksperckie i presalesowe

Możliwość udziału w działaniach eksperckich oraz wsparciu procesów presalesowych.

Dodatkowe korzyści

Opieka medyczna, karta sportowa oraz platforma kafeteryjna dostępne zgodnie z obowiązującymi zasadami współpracy.