Data Engineer (k/m/x)

B2Bnetwork; Województwo mazowieckie; On-site; PLN 180,000 - 260,000; Full time

Job summary

B2B Network poszukuje Data Engineera do rozwoju procesów zasilania danych dla hurtowni danych, środowiska Big Data i platformy Google Cloud.

Zakres obejmuje projektowanie i utrzymanie pipeline'ów ETL/ELT, integrację danych z on-prem, chmurą, bazami i API, modelowanie datamartów oraz optymalizację SQL i kosztów.

Wymagania obejmują doświadczenie w ETL/ELT, SQL, BigQuery oraz Python lub Rust, ze znajomością Linux; mile widziane Google Cloud, Dataflow, Spark, Kubernetes.

Qualifications

• Doświadczenie w budowie procesów ETL/ELT
• Doświadczenie w pisaniu i optymalizacji zapytań SQL
• Doświadczenie w pracy z BigQuery
• Doświadczenie w programowaniu w Python lub Rust
• Doświadczenie w przetwarzaniu danych w trybie batch oraz streaming
• Doświadczenie w pracy z Kafka lub Pub/Sub
• Doświadczenie w pracy z bazami Oracle lub PostgreSQL
• Znajomość systemu Linux

Responsibilities

• Projektowanie, budowa i rozwój pipeline'ów ETL/ELT w batchu i streamingu
• Integracja danych z systemów on-premise, chmury, baz, plików, API i systemów zdarzeniowych
• Modelowanie danych i tworzenie datamartów
• Optymalizacja SQL, wydajności i kosztów
• Zapewnianie jakości danych, monitoringu, obsługi błędów i testów
• Diagnozowanie incydentów i wsparcie wdrożeń
• Dokumentowanie rozwiązań zgodnie z podejściem DevSecOps

Job description

Szukamy Data Engineera do rozwoju procesów zasilania danych dla hurtowni danych, środowiska Big Data i platformy Google Cloud.

O projekcie

Projekt obejmuje rozwój procesów zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Dane są wykorzystywane m.in. do datamartów, analiz, raportowania, segmentacji klientów oraz przygotowywania spersonalizowanych ofert i kampanii.

Twój zakres obowiązków

• Projektowanie, budowa i rozwój pipeline'ów ETL/ELT w batchu i streamingu
• Integracja danych z systemów on-premise, chmury, baz, plików, API i systemów zdarzeniowych
• Modelowanie danych i tworzenie datamartów
• Optymalizacja SQL, wydajności i kosztów
• Zapewnianie jakości danych, monitoringu, obsługi błędów i testów
• Diagnozowanie incydentów i wsparcie wdrożeń
• Dokumentowanie rozwiązań zgodnie z podejściem DevSecOps

Wymagania

• Doświadczenie w budowie procesów ETL lub ELT
• Doświadczenie w pisaniu i optymalizacji zapytań SQL
• Doświadczenie w pracy z BigQuery
• Doświadczenie w programowaniu w Python lub Rust
• Doświadczenie w przetwarzaniu danych w trybie batch oraz streaming
• Doświadczenie w pracy z Kafka lub Pub/Sub
• Doświadczenie w pracy z bazami Oracle lub PostgreSQL
• Znajomość systemu Linux

Mile widziane

• Doświadczenie z Google Cloud
• Doświadczenie z Dataflow lub Dataproc, Cloud Storage
• Doświadczenie z Apache Spark
• Doświadczenie z Apache Beam
• Doświadczenie z Kubernetes lub Docker
• Doświadczenie z Informatica PowerCenter
• Doświadczenie z Data Lake
• Doświadczenie z AutomateNOW

B2B Network łączy specjalistów IT z projektami, które do nich pasują. To Ty wybierasz projekt, my zapewniamy stabilne warunki i wsparcie.