Data Engineer (AWS)

RITS; Województwo mazowieckie; Remote; PLN 193,000 - 227,000; Part time

Job summary

RITS Group zdalnie rozwija nowoczesną platformę danych opartą na AWS, wspierającą analitykę produktową oraz dane subskrypcyjne i płatnicze. Dołączasz do międzynarodowego zespołu odpowiedzialnego za utrzymanie i rozwój pipeline'ów danych oraz optymalizację kosztów i niezawodności platformy.

Wymagane jest minimum 4 lata doświadczenia w Data Engineering, dobra znajomość SQL i Python, a także praktyczne umiejętności z Redshift, dbt i CDP. Praca w modelu B2B, zdalnie, w Polsce.

Qualifications

• Minimum 4 lata doświadczenia w Data Engineering, w tym tworzenie i utrzymanie produkcyjnych data warehouse'ów.

Responsibilities

• Rozwijanie i utrzymywanie pipeline'ów danych oraz reagowanie na problemy ich działania.

Skills

SQL

Python

PySpark

Data engineering

Backfilling pipelines

Tools

Amazon Redshift

dbt

Looker

AWS SageMaker

S3

Aurora

SQS

Airflow

Job description

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

Tryb usługi: 100% zdalnie

Model współpracy: B2B

Stawka: 140–165 PLN netto + VAT / h

Poziom: Senior / Mid+

O projekcie

Dołączysz do międzynarodowego zespołu rozwijającego nowoczesną platformę danych opartą na AWS, która wspiera produkty cyfrowe i obszary takie jak analityka produktowa, customer engagement, attribution, reporting oraz dane subskrypcyjne i płatnicze.

Platforma wykorzystuje m.in. AWS S3, Redshift, EMR, Glue, Lambda, Step Functions, PySpark, dbt oraz Airflow. Dane są wykorzystywane przez narzędzia takie jak Looker, Segment, Braze, Amplitude i AppsFlyer.

Poszukujemy osoby, która wesprze bieżący rozwój i utrzymanie platformy, a jednocześnie pomoże zwiększyć jej niezawodność, wydajność i efektywność kosztową.

Zakres współpracy

• Rozwijanie i utrzymywanie pipeline'ów danych oraz reagowanie na problemy związane z ich działaniem.
• Projektowanie i rozwój procesów ingestii danych, w tym integracji z bazami Aurora PostgreSQL oraz SQS.
• Budowanie i optymalizacja transformacji danych z wykorzystaniem PySpark i dbt.
• Rozwijanie mechanizmów kontroli jakości danych, monitorowania ich aktualności i niezawodności pipeline'ów.
• Zarządzanie konfiguracją Segment, projektowanie schematów zdarzeń oraz współpraca z zespołami Product i Engineering.
• Zapewnienie spójności danych pomiędzy Redshift a narzędziami Braze, Amplitude, AppsFlyer i Looker.
• Przygotowywanie i udostępnianie danych dla narzędzi zewnętrznych, partnerów oraz zespołów wewnętrznych.
• Rozwijanie istniejących modeli ML, przygotowywanie feature pipelines i zbiorów treningowych oraz wdrażanie modeli z wykorzystaniem AWS SageMaker.
• Wsparcie inicjatyw AI, w tym rozwiązań opartych na LLM, przygotowywania zbiorów ewaluacyjnych i optymalizacji kosztów.
• Optymalizacja wydajności i kosztów Amazon Redshift.
• Rozwijanie infrastruktury jako kodu z wykorzystaniem AWS SAM, CloudFormation lub podobnych rozwiązań oraz CI/CD.
• Modernizacja istniejącej architektury i stopniowe przenoszenie starszych rozwiązań na aktualny stack technologiczny.
• Współpraca z zespołami Analytics, Finance i Product przy definiowaniu oraz standaryzacji metryk biznesowych.
• Rozwijanie projektu dbt, w tym modeli incremental, testów i kontroli jakości danych.
• Code review oraz wsparcie merytoryczne mniej doświadczonych członków zespołu.

Wymagania techniczne

• Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym doświadczenie w samodzielnym rozwijaniu i utrzymywaniu produkcyjnego data warehouse.
• Bardzo dobra znajomość SQL i Python, w tym PySpark.
• Praktyczne doświadczenie z Amazon Redshift lub podobnym rozwiązaniem MPP, w szczególności w zakresie optymalizacji wydajności, distribution keys, sort keys i workload management.
• Znajomość modelowania danych, w tym dimensional modeling oraz Slowly Changing Dimensions.
• Doświadczenie z dbt: incremental models, tests i sources.
• Praktyczna znajomość Segment lub podobnej platformy Customer Data Platform (CDP) oraz projektowania event schemas.
• Doświadczenie w środowisku AWS: S3, IAM, Glue, Lambda, Step Functions, Spark on EMR oraz RDS/Aurora.
• Znajomość Infrastructure as Code, np. CloudFormation, AWS SAM lub Terraform.
• Doświadczenie w pracy z CI/CD.
• Umiejętność projektowania idempotentnych pipeline'ów oraz procesów umożliwiających ponowne przetwarzanie danych (backfilling).
• Praktyczne doświadczenie w przygotowywaniu danych pod rozwiązania ML/AI, np. feature engineering, training datasets lub model serving. Nie jest wymagane kompleksowe zarządzanie całym cyklem życia modeli ML.

Dodatkowe informacje

• Bardzo dobra znajomość języka angielskiego – poziom B2, C1 lub C2.
• Samodzielność w rozwiązywaniu problemów technicznych.
• Umiejętność pracy z produkcyjnymi systemami danych i podejmowania decyzji dotyczących architektury.