Data Engineer

DCG; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

DCG Sp. z o.o. prowadzi rekrutację na stanowisko specjalisty Data Engineering, koncentrując się na projektowaniu i implementacji rozwiązań na Google Cloud Platform.

Kluczowe zadania obejmują migracje danych z Oracle/on-premise do GCP oraz tworzenie efektywnych procesów batch i streaming. Wymagane jest doświadczenie w BigQuery, Cloud Storage, Pub/Sub, SQL oraz Informatica PowerCenter. Doświadczenie w modelowaniu danych i zapewnieniu jakości danych będzie dodatkowym atutem.

Qualifications

• Minimum 2 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych
• Praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności z BigQuery, Cloud Storage i Pub/Sub
• Praktyczna znajomość Oracle, w tym tworzenia i optymalizacji zapytań SQL oraz pracy z dużymi wolumenami danych
• Doświadczenie developerskie z Informatica PowerCenter, umożliwiające samodzielną analitykę i modyfikację procesów ETL
• Znajomość zagadnień modelowania danych oraz projektowania procesów przetwarzania danych
• Umiejętność optymalizacji zapytań SQL pod kątem wydajności
• Znajomość zagadnień związanych z jakością, spójnością i walidacją danych
• Doświadczenie w przygotowywaniu i przeprowadzaniu testów oraz tworzeniu dokumentacji technicznej

Responsibilities

• Projektowanie i implementacja rozwiązań Data Engineering na Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub)
• Migracja procesów danych z Oracle/on-premise do GCP
• Projektowanie i rozwój procesów batch i streaming z kontrolą jakości danych
• Projektowanie struktur i modeli danych w BigQuery pod kątem wydajności i kosztów
• Analiza danych i przygotowywanie modeli danych dla Oracle, PostgreSQL i GCP
• Tworzenie i optymalizacja zapytań SQL, identyfikacja wąskich gardeł przy dużych wolumenach danych
• Analiza istniejących procesów Informatica PowerCenter i migracja do rozwiązań GCP
• Implementacja logiki transformacji, walidacji i integracji danych w SQL i Python
• Przygotowywanie testów jednostkowych/Integracyjnych oraz wsparcie testów systemowych i UAT
• Dokumentowanie techniczne i praca z repozytoriami CI/CD zgodnie z DevOps

Skills

BigQuery

SQL

Python

ETL

GCP

Oracle

Informatica PowerCenter

Data modeling

Data quality

CI/CD

DevOps

Batch processing

Streaming

Tools

Informatica PowerCenter

Google Cloud Platform

Job description

Jako firma rekrutacyjna jesteśmy świadomi, że każdy solidny biznes napędzają ludzie z odpowiednio dopasowanymi kompetencjami. Nasz styl zarządzania i partnerskie podejście pozwalają nam na elastyczne dostosowanie się do Twoich potrzeb i zapewniają pełne wsparcie podczas współpracy. W związku z ciągłym rozwojem i dużą liczbą projektów rekrutacyjnych, jakie prowadzimy dla naszych Partnerów, szukamy osoby na stanowisko:

Zakres obowiązków:

• Projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub
• Migracja i przebudowa procesów przetwarzania oraz zasilania danych ze środowisk Oracle/on-premise do GCP
• Projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), z uwzględnieniem kontroli jakości danych, obsługi błędów i mechanizmów ponawiania
• Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz optymalizacji kosztów
• Analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i środowisk GCP
• Tworzenie, analiza i optymalizacja zapytań SQL, w tym analiza planów wykonania i identyfikacja wąskich gardeł przy przetwarzaniu dużych wolumenów danych
• Analiza istniejących procesów Informatica PowerCenter oraz ich migracja do rozwiązań docelowych w GCP
• Implementacja logiki transformacji, walidacji i integracji danych z wykorzystaniem SQL oraz Python
• Przeprowadzanie analiz technicznych, analiz wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązań
• Przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresyjnych i UAT
• Przygotowywanie zmian do wdrożenia, instrukcji wdrożeniowych oraz wsparcie wdrożeń i weryfikacji powdrożeniowej
• Diagnozowanie i rozwiązywanie incydentów związanych z przetwarzaniem i jakością danych
• Tworzenie i aktualizacja dokumentacji technicznej oraz praca z repozytoriami kodu i procesami CI/CD zgodnie z podejściem DevOps

Wymagania:

• Minimum 2 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych
• Praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności z BigQuery, Cloud Storage i Pub/Sub
• Praktyczna znajomość Oracle, w tym tworzenia i optymalizacji zapytań SQL oraz pracy z dużymi wolumenami danych
• Doświadczenie developerskie z Informatica PowerCenter, umożliwiające samodzielną analizę i modyfikację procesów ETL
• Znajomość zagadnień modelowania danych oraz projektowania procesów przetwarzania danych
• Umiejętność optymalizacji zapytań SQL pod kątem wydajności
• Znajomość zagadnień związanych z jakością, spójnością i walidacją danych
• Doświadczenie w przygotowywaniu i przeprowadzaniu testów oraz tworzeniu dokumentacji technicznej

Agencja doradztwa personalnego (nr licencji 4642)

Dane spółki: DCG Sp. z o.o.,

Siedziba główna: ul. Towarowa 28, 00-839 Warszawa

Oddział: Aleja Grunwaldzka 50A, 80-241 Gdańsk