Data Engineer (GCP / Data Quality)

emagine Polska; Warszawa; On-site; PLN 288,000 - 352,000; Full time

Job summary

emagine Polska poszukuje specjalisty ds. Data Quality i Data Engineering do dołączenia do programu w obszarze mechanizmów zapewnienia jakości danych źródłowych.

Rola skupia się na budowie rozwiązań wysokiej jakości danych już na etapie ich wprowadzania do systemów bankowych, analizie procesów biznesowych, walidacyjnych reguł i rozwoju rozwiązań opartych o GCP. Wymagane doświadczenie w projektach jakości danych, silne kompetencje analityczne i umiejętność pracy w zespołach projektowych z

Qualifications

• Doświadczenie w projektach związanych z jakości danych
• Praktyczna znajomość projektowania i implementacji systemów przetwarzania danych
• Doświadczenie w pracy z Dataplex, Dataproc, Composer (Airflow) i BigQuery
• Znajomość Python i SQL

Responsibilities

• Uczestnictwo w projekcie zapewnienia jakości danych źródłowych
• Identyfikacja problemów jakości danych i analiza przyczyn
• Analiza procesów biznesowych i definiowanie reguł walidacyjnych
• Wdrażanie mechanizmów poprawiających jakość danych
• Współpraca z zespołami biznesowymi i IT w celu eliminacji źródeł błędów danych
• Budowa procesu walidacji danych na Nowej Platformie Danych
• Projektowanie i implementacja rozwiązań chmurowych oraz platform danych
• Wsparcie organizacji w realizacji inicjatyw związanych z nowoczesnymi rozwiązaniami data & cloud
• Realizacja zadań zgodnie z przyjętymi standardami technicznymi i architektonicznymi

Skills

Python

SQL

GCP

Dataplex

Dataproc

Composer/Airflow

BigQuery

DBT

GitHub

Artifact Registry

Tools

Google Cloud Platform (GCP)

Dataplex

Dataproc

Composer (Airflow)

BigQuery

DBT

GitHub

Google Artifact Registry

Job description

Branża: BankowośćLokalizacja: 1 dzień w tyg z biura w Warszawie Stawka: do 155 zł/h netto na b2b

Poszukujemy specjalisty ds. Data Quality i Data Engineering, który dołączy do programu realizowanego w obszarze „Mechanizmy Zapewnienia Jakości Danych źródłowych”. Rola koncentruje się na budowie rozwiązań zapewniających wysoką jakość danych już na etapie ich wprowadzania do systemów bankowych, analizie procesów biznesowych, definiowaniu reguł walidacyjnych oraz rozwoju rozwiązań opartych o Google Cloud Platform.

Zakres obowiązków:

• Udział w projekcie związanym z zapewnieniem jakości danych źródłowych
• Identyfikacja problemów jakości danych oraz analiza ich przyczyn
• Analiza procesów biznesowych i definiowanie reguł walidacyjnych
• Wdrażanie mechanizmów poprawiających jakość danych
• Współpraca z zespołami biznesowymi i IT w celu eliminacji źródeł błędów danych
• Budowa procesu walidacji danych na Nowej Platformie Danych
• Projektowanie i implementacja rozwiązań chmurowych oraz platform danych
• Wsparcie organizacji w realizacji inicjatyw związanych z nowoczesnymi rozwiązaniami data & cloud
• Realizacja zadań zgodnie z przyjętymi standardami technicznymi i architektonicznymi

Wymagania:

• Doświadczenie w projektach związanych z jakością danych
• Silne kompetencje analityczne
• Umiejętność efektywnej współpracy w zespołach projektowych oraz z biznesem
• Umiejętność szybkiej adaptacji do środowiska klienta
• Doświadczenie w budowie rozwiązań chmurowych w środowisku Google Cloud Platform (GCP)
• Praktyczna znajomość projektowania i implementacji systemów przetwarzania danych oraz integracji systemów
• Doświadczenie w pracy z Dataplex
• Dataproc
• Composer (Airflow)
• BigQuery
• Znajomość DBT
• Bardzo dobra znajomość Python i SQL
• Umiejętność samodzielnego tworzenia i rozwoju aplikacji oraz komponentów integracyjnych działających w środowisku chmurowym
• Doświadczenie w pracy z repozytoriami GitHub
• Znajomość Google Artifact Registry
• Dbałość o zgodność rozwiązań ze standardami technicznymi i architektonicznymi.