Inżynier Danych - ETL/ELT, BigQuery, Hybrid

B2B.NET S.A.; Warszawa; Hybrid; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Kontrakt B2B

Praca hybrydowa

Biuro w Warszawie

Długoterminowy projekt

Rozwój Big Data

Wsparcie onboardingowe

Job summary

B2B.NET S.A. szuka specjalisty Data Engineer, który będzie projektować i rozwijać pipeline'y ETL/ELT w batch i streaming, integrować dane z systemów lokalnych i chmurowych oraz modelować dane w hurtowniach. Kluczowe umiejętności to SQL, BigQuery i doświadczenie z Google Pub/Sub lub Kafka.

Praca w trybie hybrydowym, kontrakt B2B z biurem w Warszawie; projekt długoterminowy w sektorze finansowym, z możliwością rozwoju w obszarze Big Data oraz Data Lake.

Qualifications

• Minimum 5 lat doświadczenia w roli Data Engineer lub podobnej.
• Praktyczne doświadczenie w projektowaniu, budowaniu i optymalizacji procesów ETL/ELT
• Bardzo dobra znajomość SQL, transformacji danych i modelowania danych
• Doświadczenie z BigQuery, w tym projektowanie tabel oraz optymalizacja wydajności i kosztów zapytań
• Doświadczenie w Pythonie lub Rustie
• Doświadczenie zarówno z przetwarzaniem batch, jak i streaming
• Znajomość Apache Kafka lub Google Pub/Sub
• Doświadczenie z Oracle lub PostgreSQL
• Znajomość Linux, diagnozowania błędów i monitorowania procesów przetwarzania danych

Responsibilities

• Projektowanie, budowanie i rozwój pipeline'ów ETL/ELT w trybie batch i streaming
• Integracja danych z baz danych, plików, API, systemów lokalnych i chmurowych oraz systemów zdarzeniowych
• Projektowanie logicznych i fizycznych modeli danych oraz tworzenie datamartów
• Praca z BigQuery: projektowanie tabel, optymalizacja zapytań SQL, wydajności przetwarzania i kosztów
• Monitorowanie procesów, zapewnianie jakości i niezawodności danych
• Diagnozowanie błędów, obsługa incydentów produkcyjnych oraz wsparcie wdrożeń
• Tworzenie dokumentacji technicznej, testowanie rozwiązań i współpraca z zespołami DevSecOps

Skills

SQL

BigQuery

Python

ETL/ELT design

Data modeling

Linux

Batch processing

Streaming processing

Kafka

PostgreSQL

Oracle

Tools

Google Pub/Sub

Apache Kafka

Kubernetes

Docker

Informatica PowerCenter

Apache Spark

Apache Beam

Dataflow/Dataproc

Cloud Storage

Job description

B2B.NET S.A. szuka specjalisty Data Engineer, który będzie projektować i rozwijać pipeline'y ETL/ELT w batch i streaming, integrować dane z systemów lokalnych i chmurowych oraz modelować dane w hurtowniach. Kluczowe umiejętności to SQL, BigQuery i doświadczenie z Google Pub/Sub lub Kafka.

Praca w trybie hybrydowym, kontrakt B2B z biurem w Warszawie; projekt długoterminowy w sektorze finansowym, z możliwością rozwoju w obszarze Big Data oraz Data Lake.