Hybrid Python/Data Engineer - Build Data Quality at Scale

Talanto

Warszawa

Hybrid

PLN 180,000 - 240,000

Full time

3 days ago

Be an early applicant

Application generator

A complete application in a minute — tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

Talanto w Warszawie poszukuje Python Engineera / Data Engineera do zespołu dbającego o jakość danych w skali banku. Będziesz projektować komponenty przetwarzania i walidacji danych, pracować nad integracjami w Pythonie i SQL oraz rozwijać pipeline'y w GCP.

Wymagana dobra znajomość Pythona, SQL i usług GCP (BigQuery, Dataproc, Dataplex, Airflow). Praca hybrydowa – 2x w tygodniu w Woli, Warszawa.

Qualifications

Doświadczenie w projektach związanych z przetwarzaniem danych i walidacją danych w dużych organizacjach.
Bardzo dobra znajomość Pythona i SQL.
Praktyczne doświadczenie z Google Cloud Platform oraz usługami BigQuery, Dataproc, Dataplex.
Znajomość DBT i procesów ETL/ELT.
Umiejętność współpracy z zespołami w definiowaniu reguł walidacyjnych i utrzymaniu jakości danych.

Responsibilities

Projektowanie i rozwój komponentów do przetwarzania oraz walidacji danych.
Tworzenie aplikacji i procesów integracyjnych w Pythonie i SQL.
Implementacja mechanizmów kontroli i monitorowania jakości danych.
Rozwój pipeline'ów danych w środowisku Google Cloud Platform (GCP).
Praca z usługami BigQuery, Dataproc, Dataplex oraz Composer/Airflow.
Analizowanie problemów z jakością danych i identyfikowanie źródeł.
Współpraca z zespołami przy definiowaniu reguł walidacyjnych i utrzymaniu kodu.
Udział w projektowaniu i budowie procesu walidacji danych.
Rozwój oraz utrzymanie kodu zgodnie ze standardami technicznymi i architektonicznymi.