Senior Python Engineer

Talanto; Warszawa; Hybrid; PLN 180,000 - 240,000; Full time

Job summary

Talanto w Warszawie poszukuje Python Engineera / Data Engineera do zespołu dbającego o jakość danych w skali banku. Będziesz projektować komponenty przetwarzania i walidacji danych, pracować nad integracjami w Pythonie i SQL oraz rozwijać pipeline'y w GCP.

Wymagana dobra znajomość Pythona, SQL i usług GCP (BigQuery, Dataproc, Dataplex, Airflow). Praca hybrydowa – 2x w tygodniu w Woli, Warszawa.

Qualifications

• Doświadczenie w projektach związanych z przetwarzaniem danych i walidacją danych w dużych organizacjach.
• Bardzo dobra znajomość Pythona i SQL.
• Praktyczne doświadczenie z Google Cloud Platform oraz usługami BigQuery, Dataproc, Dataplex.
• Znajomość DBT i procesów ETL/ELT.
• Umiejętność współpracy z zespołami w definiowaniu reguł walidacyjnych i utrzymaniu jakości danych.

Responsibilities

• Projektowanie i rozwój komponentów do przetwarzania oraz walidacji danych.
• Tworzenie aplikacji i procesów integracyjnych w Pythonie i SQL.
• Implementacja mechanizmów kontroli i monitorowania jakości danych.
• Rozwój pipeline'ów danych w środowisku Google Cloud Platform (GCP).
• Praca z usługami BigQuery, Dataproc, Dataplex oraz Composer/Airflow.
• Analizowanie problemów z jakością danych i identyfikowanie źródeł.
• Współpraca z zespołami przy definiowaniu reguł walidacyjnych i utrzymaniu kodu.
• Udział w projektowaniu i budowie procesu walidacji danych.
• Rozwój oraz utrzymanie kodu zgodnie ze standardami technicznymi i architektonicznymi.

Skills

Python

SQL

GCP

BigQuery

Dataproc

Dataplex

Airflow/Composer

DBT

Data engineering

Analytical thinking

Tools

Airflow/Composer

Dataproc

Dataplex

DBT

Job description

praca hybrydowa - 2x/tydzień (Wola, Warszawa)

Dołącz do zespołu, który buduje rozwiązania odpowiadające za jakość danych w skali całego banku.

W ramach nowego programu rozwijamy nowoczesne rozwiązania, które pozwalają wykrywać i eliminować problemy z jakością danych już na etapie ich wprowadzania do systemów bankowych.

Szukamy Python Engineera, który będzie współtworzyć rozwiązania data engineeringowe i mechanizmy walidacji danych, pracując na co dzień z Pythonem, SQL i usługami Google Cloud Platform.

To dobra okazja, jeśli chcesz mieć realny wpływ na sposób, w jaki dane są przetwarzane, walidowane i zarządzane w dużej organizacji.

Na czym będzie polegać Twoja rola?

• projektowanie i rozwój komponentów do przetwarzania oraz walidacji danych,
• tworzenie aplikacji i procesów integracyjnych w Pythonie i SQL,
• implementacja mechanizmów kontroli i monitorowania jakości danych,
• rozwój pipeline'ów danych w środowisku Google Cloud Platform (GCP),
• praca z usługami BigQuery, Dataproc, Dataplex oraz Composer/Airflow,
• analiza problemów z jakością danych i identyfikowanie ich źródeł,
• współpraca z zespołami przy definiowaniu i wdrażaniu reguł walidacyjnych,
• udział w projektowaniu i budowie procesu walidacji danych,
• rozwój oraz utrzymanie kodu zgodnie ze standardami technicznymi i architektonicznymi,
• praca z DBT w procesach transformacji i kontroli jakości danych.

Kogo szukamy?

• doświadczenie w pracy jako Python Engineer / Data Engineer / Software Engineer w projektach związanych z danymi,
• bardzo dobra znajomość Pythona,
• bardzo dobra znajomość SQL,
• praktyczne doświadczenie z Google Cloud Platform,
• doświadczenie w budowie i rozwoju procesów przetwarzania danych,
• znajomość BigQuery,
• doświadczenie z Airflow / Composer,
• znajomość co najmniej części usług GCP związanych z przetwarzaniem i zarządzaniem danymi,
• znajomość DBT,
• znajomość procesu budowania, wersjonowania i zarządzania artefaktami aplikacyjnymi,
• silne kompetencje analityczne i umiejętność samodzielnego rozwiązywania problemów,

Mile widziane:

• doświadczenie w projektach data quality,
• znajomość zagadnień związanych z Data Governance,
• doświadczenie w projektowaniu reguł walidacyjnych i mechanizmów kontroli jakości danych,
• doświadczenie w środowisku bankowym lub finansowym,
• znajomość architektury nowoczesnych platform danych,
• doświadczenie z CI/CD oraz automatyzacją procesów wdrażania.