Hybrid Data Engineer: GCP & BigQuery ETL/ELT

Neontri; Województwo mazowieckie; Hybrid; PLN 186,000 - 207,000; Full time

Job summary

Neontri poszukuje Data Engineera do długoterminowego projektu w branży bankowej. Doświadczenie w projektowaniu oraz rozwijaniu procesów ETL/ELT i pipeline’ów, dobra znajomość SQL oraz narzędzi Google Cloud będą kluczowe. Praca w zespole, styl hybrydowy – 1x na 2 tygodnie w biurze w Warszawie.

Wynagrodzenie 135–150 PLN/h + VAT. Outsourcing w modelu kontraktu z Neontri. Zakres obejmuje zasilanie hurtowni danych, pracy z BigQuery, Data Lake, Dataflow, Kubernetes, Docker, CI/CD.

Qualifications

• Doświadczenie w projektowaniu i budowie procesów ETL/ELT oraz pipeline'ów przetwarzania danych.
• Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.
• Praktyczna znajomość BigQuery — projektowanie struktur danych, partycjonowanie, klastrowanie i optymalizacja zapytań.
• Doświadczenie programistyczne w Pythonie i/lub Rust.
• Znajomość przetwarzania danych w trybie batch oraz streaming.
• Znajomość architektury sterowanej zdarzeniami i technologii takich jak Kafka lub Pub/Sub.
• Doświadczenie w projektowaniu logicznych i fizycznych modeli danych.
• Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.

Responsibilities

• Projektowanie, budowa i rozwój pipeline'ów ETL/ELT przetwarzających dane w trybie batch i streaming.
• Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformy kampanijne.
• Integracja danych z różnych źródeł: on-premise, chmury GCP, bazy danych, pliki, API i systemy zdarzeniowe.
• Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie tematycznych datamartów.
• Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.
• Programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Rust.
• Budowa przepływów zdarzeniowych z wykorzystaniem Kafka lub Pub/Sub.
• Dbanie o jakość, kompletność, spójność i terminowość danych.
• Optymalizacja wydajności procesów oraz kosztów przetwarzania danych w środowisku Google Cloud.

Skills

ETL/ELT pipelines

SQL

BigQuery

Python

Rust

Batch processing

Streaming processing

Kafka

Pub/Sub

Data modeling

Oracle / PostgreSQL

Tools

Docker

Kubernetes

CI/CD

Job description

Neontri poszukuje Data Engineera do długoterminowego projektu w branży bankowej. Doświadczenie w projektowaniu oraz rozwijaniu procesów ETL/ELT i pipeline’ów, dobra znajomość SQL oraz narzędzi Google Cloud będą kluczowe. Praca w zespole, styl hybrydowy – 1x na 2 tygodnie w biurze w Warszawie.

Wynagrodzenie 135–150 PLN/h + VAT. Outsourcing w modelu kontraktu z Neontri. Zakres obejmuje zasilanie hurtowni danych, pracy z BigQuery, Data Lake, Dataflow, Kubernetes, Docker, CI/CD.