Data Engineer

PKO Finat Sp. z o.o.; Województwo mazowieckie; Presencial; PLN 150.000 - 210.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Umowa B2B

Descripción de la vacante

PKO Finat Sp. z o.o. poszukuje specjalisty Data Engineering do migracji bazy Oracle do Google Cloud Platform z wykorzystaniem BigQuery, Pub/Sub i Cloud Storage.

Praca w modelu B2B, z naciskiem na projektowanie i rozwój procesów przetwarzania danych oraz migrację do chmury. Wymagane doświadczenie w GCP (BigQuery, Cloud Storage, Pub/Sub) oraz Oracle, a także umiejętności w ETL/EDW i SQL. Doświadczenie z Informatica PowerCenter mile widziane, zakres odpowiedzialności obejmuje CI/CD i dokumentację

Formación

• Minimum 2 лет komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji/przetwarzania danych, z naciskiem na Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub).
• Praktyczne doświadczenie z Oracle, w tym tworzenie i optymalizacja zapytań SQL i pracy z dużymi wolumenami danych.
• Doświadczenie developerskie z Informatica PowerCenter, umożliwiające analizę i modyfikację procesów ETL, ale nie jest to główny obszar roli.

Responsabilidades

• Projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub).
• Migracja i przebudowa procesów przetwarzania danych z Oracle/on-premise do GCP.
• Projektowanie i rozwój procesów batch i streaming z mechanizmami jakości, ponawiania i obsługi błędów.

Conocimientos

BigQuery

Pub/Sub

SQL

Python

Oracle

Herramientas

Google Cloud Platform

Cloud Storage

Informatica PowerCenter

Descripción del empleo

Projekt Migracji Bazy Oraclowej na platformę GCP opartej na: Big Query / Pub-Sub / Cloud Storage w banku PKO BP.

Forma współpracy: B2B

Opis stanowiska

• projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub;
• migracja i przebudowa procesów przetwarzania oraz zasilania danych z Oracle/on-premise do GCP;
• projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), wraz z mechanizmami kontroli jakości, ponawiania i obsługi błędów;
• projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz kosztu przetwarzania i składowania danych;
• analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i warstw danych w GCP;
• tworzenie, analiza i strojenie zapytań SQL, w tym analiza planów wykonania i identyfikowanie wąskich gardeł dla dużych wolumenów danych;
• analiza istniejących procesów Informatica PowerCenter i migracja do rozwiązań docelowych w GCP;
• implementacja logiki transformacji, walidacji i integracji danych w SQL oraz Python, jeżeli wynika to z projektowanego rozwiązania;
• wykonywanie analizy technicznej, analizy wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania;
• przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT;
• przygotowanie zmian do wdrożenia, instrukcji wdrożenia oraz wsparcie wdrożenia i weryfikacji powdrożeniowej;
• diagnozowanie i usuwanie incydentów oraz udział w analizie przyczyn problemów związanych z przetwarzaniem i jakością danych;
• tworzenie i aktualizację dokumentacji technicznej oraz pracę z repozytorium kodu i procesami CI/CD zgodnie z modelem DevOps.

Wymagania

• minimum 2-letnie komercyjne doświadczenie w projektowaniu i implementacji procesów integracji lub przetwarzania danych, przy czym dominująca część praktycznego doświadczenia powinna dotyczyć Google Cloud Platform oraz pracy z BigQuery, Cloud Storage i Pub/Sub.
• praktyczne doświadczenie z Oracle, w tym w tworzeniu oraz optymalizacji zapytań SQL i pracy z dużymi wolumenami danych.
• doświadczenie developerskie z Informatica PowerCenter pozwalające na samodzielną analizę i modyfikację procesów ETL, jednak technologia ta nie stanowi głównego obszaru roli.