Data Engineer (ETL / SQL / BigQuery) (K/M)

B2B.NET S.A.; Warszawa; Hybrid; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Kontrakt B2B

Praca hybrydowa

Biuro w Warszawie

Długoterminowy projekt

Rozwój Big Data

Wsparcie onboardingowe

Job summary

B2B.NET S.A. szuka specjalisty Data Engineer, który będzie projektować i rozwijać pipeline'y ETL/ELT w batch i streaming, integrować dane z systemów lokalnych i chmurowych oraz modelować dane w hurtowniach. Kluczowe umiejętności to SQL, BigQuery i doświadczenie z Google Pub/Sub lub Kafka.

Praca w trybie hybrydowym, kontrakt B2B z biurem w Warszawie; projekt długoterminowy w sektorze finansowym, z możliwością rozwoju w obszarze Big Data oraz Data Lake.

Qualifications

• Minimum 5 lat doświadczenia w roli Data Engineer lub podobnej.
• Praktyczne doświadczenie w projektowaniu, budowaniu i optymalizacji procesów ETL/ELT
• Bardzo dobra znajomość SQL, transformacji danych i modelowania danych
• Doświadczenie z BigQuery, w tym projektowanie tabel oraz optymalizacja wydajności i kosztów zapytań
• Doświadczenie w Pythonie lub Rustie
• Doświadczenie zarówno z przetwarzaniem batch, jak i streaming
• Znajomość Apache Kafka lub Google Pub/Sub
• Doświadczenie z Oracle lub PostgreSQL
• Znajomość Linux, diagnozowania błędów i monitorowania procesów przetwarzania danych

Responsibilities

• Projektowanie, budowanie i rozwój pipeline'ów ETL/ELT w trybie batch i streaming
• Integracja danych z baz danych, plików, API, systemów lokalnych i chmurowych oraz systemów zdarzeniowych
• Projektowanie logicznych i fizycznych modeli danych oraz tworzenie datamartów
• Praca z BigQuery: projektowanie tabel, optymalizacja zapytań SQL, wydajności przetwarzania i kosztów
• Monitorowanie procesów, zapewnianie jakości i niezawodności danych
• Diagnozowanie błędów, obsługa incydentów produkcyjnych oraz wsparcie wdrożeń
• Tworzenie dokumentacji technicznej, testowanie rozwiązań i współpraca z zespołami DevSecOps

Skills

SQL

BigQuery

Python

ETL/ELT design

Data modeling

Linux

Batch processing

Streaming processing

Kafka

PostgreSQL

Oracle

Tools

Google Pub/Sub

Apache Kafka

Kubernetes

Docker

Informatica PowerCenter

Apache Spark

Apache Beam

Dataflow/Dataproc

Cloud Storage

Job description

Nasze wymagania

• Minimum 5 lat doświadczenia w roli Data Engineer lub podobnej
• Praktyczne doświadczenie w projektowaniu, budowaniu i optymalizacji procesów ETL/ELT
• Bardzo dobra znajomość SQL, transformacji danych i modelowania danych
• Praktyczne doświadczenie z BigQuery, w tym projektowanie tabel oraz optymalizacja wydajności i kosztów zapytań
• Doświadczenie w programowaniu w Pythonie lub Ruście (wystarczy jeden z tych języków)
• Doświadczenie zarówno z przetwarzaniem batch, jak i streaming
• Znajomość Apache Kafka lub Google Pub/Sub
• Doświadczenie w pracy z Oracle lub PostgreSQL
• Znajomość systemu Linux, diagnozowania błędów i monitorowania procesów przetwarzania danych

Mile widziane

• Doświadczenie z dodatkowymi usługami Google Cloud, np. Dataflow, Dataproc lub Cloud Storage
• Znajomość Apache Spark lub Apache Beam
• Doświadczenie w pracy z rozwiązaniami Data Lake
• Znajomość Kubernetes lub Docker
• Doświadczenie z Informatica PowerCenter
• Znajomość AutomateNOW

O projekcie

Projekt realizowany w sektorze bankowym obejmuje rozwój procesów zasilania hurtowni danych, środowiska Big Data oraz rozwiązań analitycznych.

Zespół projektuje i rozwija pipeline'y danych, integruje systemy lokalne i chmurowe, modeluje dane oraz tworzy datamarty.

Przetwarzane dane wykorzystywane są do analiz, raportowania, segmentacji klientów i przygotowywania spersonalizowanych ofert oraz kampanii.

Możliwość pracy z BigQuery, SQL, technologiami ETL/ELT oraz rozwiązaniami batch i streaming; wpływ na architekturę, wydajność i jakość procesów danych.

Zakres obowiązków

• Projektowanie, budowanie i rozwój pipeline'ów ETL/ELT w trybie batch i streaming
• Integracja danych z baz danych, plików, API, systemów lokalnych i chmurowych oraz systemów zdarzeniowych
• Projektowanie logicznych i fizycznych modeli danych oraz tworzenie datamartów
• Praca z BigQuery: projektowanie tabel, optymalizacja zapytań SQL, wydajności przetwarzania i kosztów
• Monitorowanie procesów, zapewnianie jakości i niezawodności danych
• Diagnozowanie błędów, obsługa incydentów produkcyjnych oraz wsparcie wdrożeń
• Tworzenie dokumentacji technicznej, testowanie rozwiązań i współpraca z zespołami DevSecOps

Oferujemy

• Współpraca na podstawie kontraktu B2B
• Praca hybrydowa z obecnością w biurze w Warszawie przez 4 dni w miesiącu
• Długoterminowy projekt, planowany na ponad 12 miesięcy
• Możliwość rozwoju rozwiązań Big Data i hurtowni danych w dużej organizacji z sektora finansowego
• Praca z BigQuery, ETL/ELT oraz technologiami batch i streaming
• Wsparcie formalne i dokumentacyjne podczas onboardingu