Senior Data Engineer (ETL / GCP)

RITS; Województwo mazowieckie; Hybride; PLN 182 000 - 259 000; Plein temps

Résumé du poste

RITS Group poszukuje Senior Data Engineer, który będzie rozwijał pipeline’y ETL/ELT dla hurtowni danych, BigQuery i środowisk chmurowych Google Cloud. Praca w modelu hybrydowym w Warszawie na współpracy B2B.

Wymagane jest doświadczenie w projektowaniu procesów zasilających dane, znajomość SQL i Python/Rust, oraz umiejętność pracy z systemami kampanijnymi i data observability. Dołącz do zespołu skupionego na jakości i nowoczesnych rozwiązaniach.

Qualifications

• Senior-level experience in designing and building ETL/ELT data pipelines.
• Praktyczna znajomość BigQuery, projektowanie struktur danych i optymalizacji.
• Znajomość przetwarzania batch i streaming oraz architektury zdarzeniowej (Kafka lub Pub/Sub).
• Umiejętność projektowania logicznych i fizycznych modeli danych.

Responsabilités

• Projektowanie, budowa i rozwój pipeline’ów ETL/ELT w trybie batch i streaming.
• Tworzenie procesów zasilających BigQuery, hurtownie danych i Data Lake.
• Integracja danych z systemów on-prem, chmury GCP i systemów kampanijnych.
• Projektowanie modeli danych oraz przygotowywanie datamartów tematycznych.
• Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.
• Programowanie procesów przetwarzania danych w Pythonie i/lub Rust.
• Budowa przepływów zdarzeniowych z Kafka lub Pub/Sub.
• Dbanie o jakość, kompletność i terminowość danych.
• Wdrażanie monitoringu, logowania i obsługi błędów.
• Przekładanie wymagań biznesowych na rozwiązania techniczne.
• Testy i utrzymanie rozwiązań oraz dokumentacja techniczna.

Connaissances

SQL

Python

Rust

Batch & streaming

Business requirements analysis

Outils

BigQuery

Pub/Sub

Kafka

Dataflow

Dataproc

Kubernetes

Docker

CI/CD

Oracle

PostgreSQL

Description du poste

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

Senior Data Engineer (ETL / GCP)

Szczegóły współpracy

• Model współpracy: Hybryda - Warszawa
• Forma współpracy: B2B
• Stawka: 160 PLN/h netto
• Okres współpracy: ponad 12 miesięcy

O projekcie

Poszukujemy Senior Data Engineera do zespołu, który rozwija procesy zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud i systemów kampanijnych. Budujemy rozwiązania, które przetwarzają duże wolumeny danych w trybie batch i w czasie zbliżonym do rzeczywistego. Z naszych danych powstają datamarty, analizy, raporty, segmentacje klientów oraz spersonalizowane oferty i kampanie. Jeśli chcesz budować niezawodne pipeline’y danych w środowisku hybrydowym i chmurowym, zapraszamy do kontaktu!

Twoje zadania:

• Projektowanie, budowa i rozwój pipeline’ów ETL/ELT działających w trybie batch i streaming.
• Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformę kampanijną.
• Integracja danych z systemów on-premise, chmury GCP, baz danych, plików, API i systemów zdarzeniowych.
• Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie warstw danych i datamartów tematycznych.
• Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.
• Programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście.
• Budowa przepływów zdarzeniowych z wykorzystaniem Kafki lub Pub/Sub.
• Dbanie o jakość, kompletność, spójność i terminowość danych.
• Optymalizacja wydajności procesów i kosztów przetwarzania w GCP.
• Wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania.
• Przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania.
• Testy, wsparcie wdrożeń, diagnozowanie incydentów i utrzymanie rozwiązań.
• Tworzenie dokumentacji technicznej i rozwój rozwiązań zgodnie z podejściem DevSecOps.

Wymagania:

• Doświadczenie na poziomie senior w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych.
• Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.
• Praktyczna znajomość BigQuery: projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów.
• Doświadczenie w programowaniu w Pythonie i/lub Ruście.
• Znajomość przetwarzania danych w trybie batch i streaming.
• Znajomość architektury sterowanej zdarzeniami (Kafka lub Pub/Sub).
• Doświadczenie w projektowaniu logicznych i fizycznych modeli danych.
• Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.
• Znajomość Linuxa w stopniu pozwalającym na samodzielną pracę i diagnozowanie problemów.
• Umiejętność analizy wymagań biznesowych i przekładania ich na rozwiązania techniczne.

Mile widziane:

• Doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage.
• Znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow.
• Doświadczenie z Kubernetes, Dockerem i CI/CD.
• Znajomość Informatica PowerCenter lub innych narzędzi ETL.
• Doświadczenie w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym.
• Znajomość systemów kampanijnych, segmentacji klientów lub marketing automation.
• Doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability.
• Znajomość zagadnień bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych.
• Znajomość AutomateNOW.

Czego szukamy poza technologią?

• Samodzielności, odpowiedzialności i konsekwencji w realizacji zadań.
• Dbałości o jakość, niezawodność i utrzymywalność rozwiązań.
• Dobrej organizacji pracy i umiejętności szybkiego przyswajania wiedzy.
• Umiejętności efektywnej współpracy w zespole.
• Doświadczenia we współpracy z klientem biznesowym.
• Dobrych umiejętności komunikacyjnych i analitycznego podejścia do problemów.