Senior Data Engineer

GS Services; Polska; On-site; PLN 260,000 - 420,000; Full time

Job summary

GS Services poszukuje doświadczonego Data Engineera do zespołu R&D, odpowiedzialnego za rozwój i utrzymanie procesów przetwarzania danych. Wymagane jest minimum 7 lat doświadczenia w Data Engineering, ETL i modeling hurtowni danych.

Kluczowe umiejętności to bardzo dobra znajomość SQL, Python, dbt, AWS oraz Apache Airflow. Praca na modelu B2B z możliwością współpracy przy projektach z zakresu dużych zbiorów danych i architektury medallion.

Qualifications

• Minimum 7 lat doświadczenia w Data Engineering, ETL i modeling hurtowni danych.
• Bardzo dobra znajomość SQL, w tym transformacja i walidacja danych.
• Doświadczenie z Pythonem w Data Engineering.
• Doświadczenie z dbt, AWS i Apache Airflow.
• Znajomość architektury Data Warehouse i diagramów architektury.
• Git lub podobne narzędzia kontroli wersji.

Responsibilities

• Rozwój i utrzymanie pipeline’ów danych R&D.
• Analiza plików źródłowych, mappingów i konfiguracji pipeline’ów.
• Tworzenie i utrzymanie diagramów architektury oraz modeli danych (Star/Snowflake).
• Projektowanie modeli danych zgodnie z założeniami Star/Snowflake Schema.
• Budowa i optymalizacja transformacji danych z dbt.
• Rozwój logiki ingestion, transformation i publish z użyciem YAML, AWS S3, Airflow, SQL i Redshift.
• Wsparcie architektury Medallion i monitoringu jakości danych.
• Udział w code review, testach, deploymentach i dokumentacji.

Skills

SQL

Python

dbt

Airflow

AWS

Data modeling

ETL/ELT

Data Quality

Git

Tools

Redshift

S3

Glue

Lambda

Job description

Dla naszego klienta poszukujemy doświadczonego Data Engineera, który dołączy do projektu z obszaru R&D i będzie pracować przy rozwoju oraz utrzymaniu procesów przetwarzania danych.

Szukamy osoby z minimum 7-letnim doświadczeniem w Data Engineering, ETL oraz Data Warehouse development i modeling, bardzo dobrą znajomością SQL oraz praktycznym doświadczeniem z AWS, dbt, Airflow i Pythonem.

Forma współpracy: B2B

Doświadczenie: min. 7 lat

Wymagania:

• Minimum 7 lat doświadczenia w Data Engineering, ETL oraz Data Warehouse development i modeling
• Bardzo dobra znajomość SQL, w tym transformacja i walidacja danych, reconciliation, troubleshooting oraz optymalizacja zapytań
• Doświadczenie w dimensional data modeling, w tym Star Schema, Snowflake Schema, Fact and Dimension Modeling oraz Slowly Changing Dimensions
• Praktyczne doświadczenie z Pythonem w obszarze Data Engineering lub automatyzacji workflow
• Doświadczenie z dbt
• Doświadczenie z AWS, w szczególności S3, Glue, Lambda i Redshift
• Doświadczenie z Apache Airflow, w tym tworzeniem DAG-ów i orkiestracją workflow
• Doświadczenie w budowie i utrzymaniu produkcyjnych pipeline’ów ETL/ELT
• Znajomość zagadnień data quality, error handling i production support
• Doświadczenie w tworzeniu diagramów architektury i dokumentacji technicznej
• Znajomość Git lub podobnych narzędzi kontroli wersji

Zakres obowiązków:

• Rozwój i utrzymanie pipeline’ów danych R&D
• Analiza plików źródłowych, wymagań biznesowych, mappingów i istniejących konfiguracji pipeline’ów
• Tworzenie i utrzymanie diagramów architektury oraz conceptual, logical i physical data models
• Projektowanie modeli danych w oparciu o Star Schema i Snowflake Schema
• Budowa i optymalizacja transformacji danych z wykorzystaniem dbt
• Rozwój logiki ingestion, transformation i publish z wykorzystaniem YAML, AWS S3, Airflow, SQL i Redshift
• Wsparcie architektury Medallion
• Obsługa zmian w schematach danych, nowych kolumn, typach danych, brakujących polach i formatach plików
• Walidacja i reconciliation danych source-to-target przed wdrożeniem produkcyjnym
• Troubleshooting pipeline’ów, brakujących lub opóźnionych plików oraz problemów z danymi na produkcji
• Udział w code review, testach, deploymentach i aktualizacji dokumentacji
• Współpraca z biznesem, vendorami i zespołami technicznymi przy doprecyzowaniu wymagań i rozwiązywaniu problemów

Po więcej informacji zapraszam do wiadomości pod adresem [e-mail]