Data Engineer

B2B.NET S.A.; Warszawa; On-site; PLN 150,000 - 190,000; Full time

Job summary

B2B.NET S.A. poszukuje do zespołu inżyniera danych do projektu migracji i rozwoju procesów przetwarzania danych w środowisku Google Cloud Platform. Do obowiązków należy projektowanie i rozwój rozwiązań w GCP, migracja danych z Oracle/on-premise oraz rozwój procesów batch i streaming.

Wymagane doświadczenie z GCP, BigQuery i SQL. Praca obejmuje optymalizację zapytań i pracę z dużymi wolumenami danych, a także ETL w Informatica PowerCenter.

Qualifications

• Minimum 2 lata komercyjnego doświadczenia w integracji lub przetwarzaniu danych.
• Praktyczne doświadczenie z Google Cloud Platform (GCP).
• Bardzo dobra znajomość BigQuery.
• Doświadczenie z Oracle i PowerCenter.
• Bardzo dobra znajomość SQL i pracy z dużymi wolumenami.
• Znajomość Python w transformacji danych.
• Znajomość ETL w Informatica PowerCenter.

Responsibilities

• Projektowanie i rozwój rozwiązań Data Engineering w GCP.
• Migracja i przebudowa procesów przetwarzania danych z Oracle/on-premise do GCP.
• Projektowanie i rozwój procesów batch oraz streaming.
• Projektowanie struktur i modeli danych w BigQuery.
• Tworzenie i optymalizacja zapytań SQL dla dużych wolumenów danych.
• Analiza i modyfikacja procesów ETL w Informatica PowerCenter.
• Implementacja transformacji, walidacji i integracji danych.
• Przygotowywanie testów jednostkowych i integracyjnych.
• Diagnozowanie problemów związanych z przetwarzaniem i jakością danych.
• Tworzenie i aktualizacja dokumentacji technicznej.

Skills

GCP

BigQuery

Cloud Storage

Pub/Sub

SQL

Python

Informatica PowerCenter

Tools

Oracle

Job description

Nasze wymagania:

• Minimum 2 lata komercyjnego doświadczenia w obszarze integracji lub przetwarzania danych
• Praktyczne doświadczenie z Google Cloud Platform
• Bardzo dobra znajomość BigQuery
• Doświadczenie z Cloud Storage i Pub/Sub
• Praktyczne doświadczenie z Oracle
• Bardzo dobra znajomość SQL, w tym optymalizacja zapytań i praca z dużymi wolumenami danych
• Doświadczenie developerskie z Informatica PowerCenter, w tym samodzielna analiza i modyfikacja procesów ETL
• Znajomość Python w zakresie transformacji i integracji danych

O projekcie:

projekt związanego z migracją i rozwojem procesów przetwarzania danych w środowisku Google Cloud Platform

Zakres obowiązków:

• Projektowanie i rozwój rozwiązań Data Engineering w GCP
• Migracja i przebudowa procesów przetwarzania danych z Oracle/on‑premise do GCP
• Projektowanie i rozwój procesów batch oraz streaming
• Projektowanie struktur i modeli danych w BigQuery
• Tworzenie i optymalizacja zapytań SQL dla dużych wolumenów danych
• Analiza i modyfikacja procesów ETL w Informatica PowerCenter
• Implementacja transformacji, walidacji i integracji danych
• Przygotowywanie testów jednostkowych i integracyjnych
• Diagnozowanie problemów związanych z przetwarzaniem i jakością danych
• Tworzenie i aktualizacja dokumentacji technicznej