Senior Data Engineer | AWS/dbt/Airflow/Python

GS Services; Polska; On-site; PLN 260,000 - 420,000; Full time

Job summary

GS Services poszukuje doświadczonego Data Engineera do zespołu R&D, odpowiedzialnego za rozwój i utrzymanie procesów przetwarzania danych. Wymagane jest minimum 7 lat doświadczenia w Data Engineering, ETL i modeling hurtowni danych.

Kluczowe umiejętności to bardzo dobra znajomość SQL, Python, dbt, AWS oraz Apache Airflow. Praca na modelu B2B z możliwością współpracy przy projektach z zakresu dużych zbiorów danych i architektury medallion.

Qualifications

• Minimum 7 lat doświadczenia w Data Engineering, ETL i modeling hurtowni danych.
• Bardzo dobra znajomość SQL, w tym transformacja i walidacja danych.
• Doświadczenie z Pythonem w Data Engineering.
• Doświadczenie z dbt, AWS i Apache Airflow.
• Znajomość architektury Data Warehouse i diagramów architektury.
• Git lub podobne narzędzia kontroli wersji.

Responsibilities

• Rozwój i utrzymanie pipeline’ów danych R&D.
• Analiza plików źródłowych, mappingów i konfiguracji pipeline’ów.
• Tworzenie i utrzymanie diagramów architektury oraz modeli danych (Star/Snowflake).
• Projektowanie modeli danych zgodnie z założeniami Star/Snowflake Schema.
• Budowa i optymalizacja transformacji danych z dbt.
• Rozwój logiki ingestion, transformation i publish z użyciem YAML, AWS S3, Airflow, SQL i Redshift.
• Wsparcie architektury Medallion i monitoringu jakości danych.
• Udział w code review, testach, deploymentach i dokumentacji.

Skills

SQL

Python

dbt

Airflow

AWS

Data modeling

ETL/ELT

Data Quality

Git

Tools

Redshift

S3

Glue

Lambda

Job description

GS Services poszukuje doświadczonego Data Engineera do zespołu R&D, odpowiedzialnego za rozwój i utrzymanie procesów przetwarzania danych. Wymagane jest minimum 7 lat doświadczenia w Data Engineering, ETL i modeling hurtowni danych.

Kluczowe umiejętności to bardzo dobra znajomość SQL, Python, dbt, AWS oraz Apache Airflow. Praca na modelu B2B z możliwością współpracy przy projektach z zakresu dużych zbiorów danych i architektury medallion.