Data Engineer (k/m/x)

B2B.NET S.A.; Województwo mazowieckie; Hybrid; PLN 153,000 - 219,000; Full time

Benefits offered by this job

Kontrakt B2B

Praca hybrydowa: 1 dzień w tygodniu w

Prywatna opieka medyczna

Dofinansowanie zajęć sportowych

Wsparcie formalne od dokumentów po on-

Job summary

B2B.NET S.A. poszukuje specjalisty ds. przetwarzania danych do hybrydowego zespołu pracującego nad procesami ETL/ELT w środowisku Big Data. Projekt obejmuje zasilanie hurtowni danych i analitykę w Google Cloud oraz kampanie marketingowe.

Praca w trybie hybrydowym, 1 dzień w biurze w Warszawie; długość projektu przekracza 12 miesięcy; stawka do 135 zł/h netto (B2B). Wymagane doświadczenie z BigQuery, SQL, Python lub Rust oraz Kafka/ Pub/Sub.

Qualifications

• Wymagane doświadczenie w budowie procesów ETL/ELT.
• Doświadczenie w pisaniu i optymalizacji zapytań SQL.
• Doświadczenie w pracy z BigQuery.
• Znajomość Python lub Rust.
• Doświadczenie w przetwarzaniu danych w batchu i streaming.
• Doświadczenie w pracy z Kafka lub Pub/Sub.
• Doświadczenie w bazach Oracle lub PostgreSQL.
• Znajomość systemu Linux.

Responsibilities

• Projektowanie, budowa i rozwój pipeline'ów ETL/ELT w batchu i strumieniu.
• Integracja danych z systemów on-premise, chmur, baz, plików, API i zdarzeniowych.
• Modelowanie danych i tworzenie datamartów.
• Optymalizacja SQL, wydajności i kosztów.
• Zapewnianie jakości danych, monitoring, obsługa błędów i testów.
• Diagnostyka incydentów i wsparcie wdrożeń.
• Dokumentowanie rozwiązań zgodnie z DevSecOps.

Job description

Nasze wymagania:

• Doświadczenie w budowie procesów ETL lub ELT
• Doświadczenie w pisaniu i optymalizacji zapytań SQL
• Doświadczenie w pracy z BigQuery
• Doświadczenie w programowaniu w Python lub Rust
• Doświadczenie w przetwarzaniu danych w trybie batch oraz streaming
• Doświadczenie w pracy z Kafka lub Pub/Sub
• Doświadczenie w pracy z bazami Oracle lub PostgreSQL
• Znajomość systemu Linux

Mile widziane:

• Doświadczenie z Google Cloud
• Doświadczenie z Dataflow lub Dataproc, Cloud Storage
• Doświadczenie z Apache Spark
• Doświadczenie z Apache Beam
• Doświadczenie z Kubernetes lub Docker
• Doświadczenie z Informatica PowerCenter
• Doświadczenie z Data Lake
• Doświadczenie z AutomateNOW

O projekcie:

Projekt obejmuje rozwój procesów zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Dane są wykorzystywane m.in. do datamartów, analiz, raportowania, segmentacji klientów oraz przygotowywania spersonalizowanych ofert i kampanii.
Tryb: hybrydowo, 1 dzień w tygodniu w biurze
Długość: powyżej 12 miesięcy
Stawka: do 135 zł/h netto (B2B)

Zakres obowiązków:

• Projektowanie, budowa i rozwój pipeline'ów ETL/ELT w batchu i streamingu
• Integracja danych z systemów on-premise, chmury, baz, plików, API i systemów zdarzeniowych
• Modelowanie danych i tworzenie datamartów
• Optymalizacja SQL, wydajności i kosztów
• Zapewnianie jakości danych, monitoringu, obsługi błędów i testów
• Diagnozowanie incydentów i wsparcie wdrożeń
• Dokumentowanie rozwiązań zgodnie z podejściem DevSecOps

Oferujemy:

• Kontrakt B2B
• Praca hybrydowa: 1 dzień w tygodniu w biurze (Warszawa)
• Czas trwania: powyżej 12 miesięcy
• Prywatna opieka medyczna
• Dofinansowanie zajęć sportowych
• Wsparcie formalne od dokumentów po onboarding