Data Engineer: BigQuery & Cloud Data Pipelines

B2Bnetwork; Województwo mazowieckie; On-site; PLN 180,000 - 260,000; Full time

Job summary

B2B Network poszukuje Data Engineera do rozwoju procesów zasilania danych dla hurtowni danych, środowiska Big Data i platformy Google Cloud.

Zakres obejmuje projektowanie i utrzymanie pipeline'ów ETL/ELT, integrację danych z on-prem, chmurą, bazami i API, modelowanie datamartów oraz optymalizację SQL i kosztów.

Wymagania obejmują doświadczenie w ETL/ELT, SQL, BigQuery oraz Python lub Rust, ze znajomością Linux; mile widziane Google Cloud, Dataflow, Spark, Kubernetes.

Qualifications

• Doświadczenie w budowie procesów ETL/ELT
• Doświadczenie w pisaniu i optymalizacji zapytań SQL
• Doświadczenie w pracy z BigQuery
• Doświadczenie w programowaniu w Python lub Rust
• Doświadczenie w przetwarzaniu danych w trybie batch oraz streaming
• Doświadczenie w pracy z Kafka lub Pub/Sub
• Doświadczenie w pracy z bazami Oracle lub PostgreSQL
• Znajomość systemu Linux

Responsibilities

• Projektowanie, budowa i rozwój pipeline'ów ETL/ELT w batchu i streamingu
• Integracja danych z systemów on-premise, chmury, baz, plików, API i systemów zdarzeniowych
• Modelowanie danych i tworzenie datamartów
• Optymalizacja SQL, wydajności i kosztów
• Zapewnianie jakości danych, monitoringu, obsługi błędów i testów
• Diagnozowanie incydentów i wsparcie wdrożeń
• Dokumentowanie rozwiązań zgodnie z podejściem DevSecOps

Job description

B2B Network poszukuje Data Engineera do rozwoju procesów zasilania danych dla hurtowni danych, środowiska Big Data i platformy Google Cloud.

Zakres obejmuje projektowanie i utrzymanie pipeline'ów ETL/ELT, integrację danych z on-prem, chmurą, bazami i API, modelowanie datamartów oraz optymalizację SQL i kosztów.

Wymagania obejmują doświadczenie w ETL/ELT, SQL, BigQuery oraz Python lub Rust, ze znajomością Linux; mile widziane Google Cloud, Dataflow, Spark, Kubernetes.