Inżynier Danych w GCP – BigQuery & ETL

DCG; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

DCG Sp. z o.o. prowadzi rekrutację na stanowisko specjalisty Data Engineering, koncentrując się na projektowaniu i implementacji rozwiązań na Google Cloud Platform.

Kluczowe zadania obejmują migracje danych z Oracle/on-premise do GCP oraz tworzenie efektywnych procesów batch i streaming. Wymagane jest doświadczenie w BigQuery, Cloud Storage, Pub/Sub, SQL oraz Informatica PowerCenter. Doświadczenie w modelowaniu danych i zapewnieniu jakości danych będzie dodatkowym atutem.

Qualifications

• Minimum 2 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych
• Praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności z BigQuery, Cloud Storage i Pub/Sub
• Praktyczna znajomość Oracle, w tym tworzenia i optymalizacji zapytań SQL oraz pracy z dużymi wolumenami danych
• Doświadczenie developerskie z Informatica PowerCenter, umożliwiające samodzielną analitykę i modyfikację procesów ETL
• Znajomość zagadnień modelowania danych oraz projektowania procesów przetwarzania danych
• Umiejętność optymalizacji zapytań SQL pod kątem wydajności
• Znajomość zagadnień związanych z jakością, spójnością i walidacją danych
• Doświadczenie w przygotowywaniu i przeprowadzaniu testów oraz tworzeniu dokumentacji technicznej

Responsibilities

• Projektowanie i implementacja rozwiązań Data Engineering na Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub)
• Migracja procesów danych z Oracle/on-premise do GCP
• Projektowanie i rozwój procesów batch i streaming z kontrolą jakości danych
• Projektowanie struktur i modeli danych w BigQuery pod kątem wydajności i kosztów
• Analiza danych i przygotowywanie modeli danych dla Oracle, PostgreSQL i GCP
• Tworzenie i optymalizacja zapytań SQL, identyfikacja wąskich gardeł przy dużych wolumenach danych
• Analiza istniejących procesów Informatica PowerCenter i migracja do rozwiązań GCP
• Implementacja logiki transformacji, walidacji i integracji danych w SQL i Python
• Przygotowywanie testów jednostkowych/Integracyjnych oraz wsparcie testów systemowych i UAT
• Dokumentowanie techniczne i praca z repozytoriami CI/CD zgodnie z DevOps

Skills

BigQuery

SQL

Python

ETL

GCP

Oracle

Informatica PowerCenter

Data modeling

Data quality

CI/CD

DevOps

Batch processing

Streaming

Tools

Informatica PowerCenter

Google Cloud Platform

Job description

DCG Sp. z o.o. prowadzi rekrutację na stanowisko specjalisty Data Engineering, koncentrując się na projektowaniu i implementacji rozwiązań na Google Cloud Platform.

Kluczowe zadania obejmują migracje danych z Oracle/on-premise do GCP oraz tworzenie efektywnych procesów batch i streaming. Wymagane jest doświadczenie w BigQuery, Cloud Storage, Pub/Sub, SQL oraz Informatica PowerCenter. Doświadczenie w modelowaniu danych i zapewnieniu jakości danych będzie dodatkowym atutem.