Mid Data Engineer

RITS; Warszawa; On-site; PLN 167,000 - 238,000; Full time

Job summary

RITS poszukuje Middle Data Engineer’a do pracy nad projektem z zakresu Data Engineering i migracji danych do Google Cloud Platform. Kandydat będzie pracować z BigQuery, Cloud Storage i Pub/Sub, a także prowadzić migracje z Oracle i środowisk on-prem do chmury.

Wymagane jest minimum 2 lata doświadczenia komercyjnego w projektowaniu procesów integracji danych oraz praktyczna znajomość GCP i SQL. Praca w modelu B2B na Warszawę z wizytami u klienta.

Qualifications

• Minimum 2 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji danych.
• Poziom Middle Data Engineer i praktyczna znajomość Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub).
• Doświadczenie z Oracle i dużymi wolumenami danych oraz z Informatica PowerCenter.
• Umiejętność projektowania i optymalizacji zapytań SQL oraz pracy z ETL/ELT.
• Znajomość Pythona do implementacji logiki przetwarzania danych.

Responsibilities

• Projektowanie i rozwój rozwiązań Data Engineering na Google Cloud Platform, z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub.
• Migracja procesów z środowisk on-prem do GCP oraz przebudowa procesów przetwarzania danych.
• Projektowanie i rozwój batch i streaming procesów wraz z kontrolą jakości i obsługą błędów.
• Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności i kosztów.
• Przygotowywanie testów jednostkowych i integracyjnych oraz dokumentacja techniczna.

Skills

BigQuery

SQL

Python

Tools

BigQuery

Cloud Storage

Pub/Sub

Oracle

Informatica PowerCenter

SQL

Python

ETL/ELT

CI/CD

DevOps

Job description

Poszukujemy Data Engineer’a na poziomie Middle do współpracy przy realizacji projektu z obszaru Data Engineering i migracji danych do Google Cloud Platform.

Szukamy osoby, która dobrze czuje się w pracy z dużymi zbiorami danych, znaBigQuery i SQL, a także ma praktyczne doświadczenie w budowaniu i rozwijaniu procesów ETL/ELT oraz migracji rozwiązań z środowisk on-premise do chmury.

Forma współpracy:

• Model współpracy: B2B
• Stawka: 147,20 zł netto/h
• Lokalizacja: Warszawa, z okresowymi wizytami w siedzibie klienta , średnio raz w tygodniu, zależnie od bieżących potrzeb projektowych.

W ramach współpracy będziesz odpowiadać m.in. za:

• projektowanie, implementację i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub;
• migrację i przebudowę procesów przetwarzania oraz zasilania danych z Oracle / środowisk on-premise do GCP;
• projektowanie i rozwój procesów batch oraz streaming, wraz z mechanizmami kontroli jakości, obsługi błędów i ponawiania operacji;
• projektowanie struktur i modeli danych w BigQuery, z uwzględnieniem wydajności, skalowalności oraz optymalizacji kosztów;
• analizę danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i GCP;
• tworzenie, analizę i optymalizację zapytań SQL, w tym analizę planów wykonania i identyfikowanie wąskich gardeł przy dużych wolumenach danych;
• analizę istniejących procesów Informatica PowerCenter oraz ich migrację do rozwiązań docelowych w GCP;
• implementację logiki transformacji, walidacji i integracji danych w SQL i Python;
• wykonywanie analiz technicznych, analiz wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania;
• przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT;
• przygotowywanie zmian do wdrożenia, instrukcji wdrożeniowych oraz wsparcie wdrożeń i weryfikacji powdrożeniowej;
• diagnozowanie i usuwanie incydentów związanych z przetwarzaniem oraz jakością danych;
• tworzenie i aktualizację dokumentacji technicznej;
• pracę z repozytorium kodu oraz procesami CI/CD zgodnie z podejściem DevOps.

Czego oczekujemy?

• minimum 2 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych;
• doświadczenia odpowiadającego poziomowi Middle Data Engineer;
• praktycznej znajomości Google Cloud Platform, w szczególności:
  • BigQuery,
  • Cloud Storage,
  • Pub/Sub;
• praktycznego doświadczenia z Oracle, w tym tworzenia i optymalizacji zapytań SQL oraz pracy z dużymi wolumenami danych;
• doświadczenia z Informatica PowerCenter, pozwalającego na samodzielną analizę i modyfikację procesów ETL;
• znajomości SQL na poziomie pozwalającym na analizę, optymalizację i rozwój procesów przetwarzania danych;
• doświadczenia w pracy z procesami ETL/ELT, migracją danych i integracją systemów;
• znajomości Python w zakresie potrzebnym do implementacji logiki przetwarzania i transformacji danych;
• doświadczenia z testowaniem, dokumentowaniem i wdrażaniem rozwiązań danych.