Data Engineer – Data Contracts & Quality (GCP)

P&P Solutions; Województwo mazowieckie; Hybrid; PLN 159,000 - 227,000; Full time

Benefits offered by this job

Prywatna opieka medyczna

Kafeteryjna platforma MyBenefit

Job summary

P&P Solutions poszukuje specjalisty ds. Data Engineering i Data Governance, który zajmie się implementacją i utrzymaniem Data Contracts w Google Cloud Platform. Praca hybridowa w Warszawie (możliwość pracy zdalnej). Model współpracy B2B.

Wymagane jest praktyczne doświadczenie z GCP, Data Contracts, automatyzacja kontraktów danych oraz zaawansowana znajomość SQL. Mile widziane doświadczenie w Data Quality i projektowaniu modeli danych.

Qualifications

• Wymagane praktyczne doświadczenie z Google Cloud Platform (GCP).
• Znajomość Data Contracts, definowania kontraktów danych i wymagań jakościowych.
• Doświadczenie w automatyzacji kontraktów danych (OpenAPI, JSON Schema, CI/CD) oraz w testowaniu jakości danych.
• Doświadczenie w analizie, przetwarzaniu i modelowaniu danych, architekturze hurtowni danych i Big Data.
• Zaawansowana znajomość SQL i praktyczne doświadczenie zawodowe.

Responsibilities

• Implementacja, wdrażanie i utrzymywanie kontraktów danych w środowisku GCP.
• Definiowanie i aktualizacja schematów danych oraz reguł walidacji.
• Tworzenie mechanizmów automatycznej walidacji danych i integracja z CI/CD.
• Tworzenie zapytań SQL do analizy danych i weryfikacji jakości.
• Współpraca z zespołami Data Engineering, BI i właścicielami danych.

Job description

Dla naszego Klienta poszukujemy osoby, która ma doświadczenie w obszarze Data Engineering i Data Governance oraz chce rozwijać rozwiązania związane z jakością i standaryzacją danych. Szukamy specjalisty, który będzie odpowiedzialny za implementację i utrzymanie kontraktów danych (Data Contracts) w środowisku Google Cloud Platform.

Lokalizacja: Warszawa (hybrydowo, model współpracy do indywidualnego ustalenia; możliwa praca w pełni zdalna)

Model współpracy: B2B

Język angielski: B1Technologie:

GCP, BigQuery, SQL, Python, Spark, Kubernetes, Terraform, Vertex AI, Looker, Oracle.

Wymagania:

• Praktyczne doświadczenie w pracy z Google Cloud Platform (GCP).
• Znajomość zagadnień Data Contracts, w tym definiowania kontraktów danych i wymagań jakościowych.
• Doświadczenie w korzystaniu z narzędzi wspierających automatyzację kontraktów danych, np. OpenAPI, JSON Schema, CI/CD lub narzędzi do testowania jakości danych.
• Doświadczenie w analizie, przetwarzaniu i modelowaniu danych.
• Znajomość architektury hurtowni danych oraz rozwiązań Big Data.
• Zaawansowana znajomość SQL poparta praktycznym doświadczeniem zawodowym.

Mile widziane:

• Kilkuletnie doświadczenie w obszarze Data Engineering, Data Governance, Data Quality lub analizy danych.
• Doświadczenie w projektowaniu modeli danych i budowaniu warstw danych.
• Praktyczna znajomość testowania, monitorowania i alertowania jakości danych.
• Znajomość standardu ODCS.
• Doświadczenie z narzędziami takimi jak dbt, Dataform, Knowledge Catalog (dawniej Dataplex) lub Data Catalog.
• Znajomość zagadnień Data Governance i Data Quality.
• Doświadczenie w dokumentacji technicznej oraz code review.
• Umiejętność samodzielnego prowadzenia tematów wymagających współpracy wielu zespołów.

Obowiązki:

• Implementacja, wdrażanie i utrzymywanie kontraktów danych (Data Contracts) w środowisku GCP.
• Definiowanie i aktualizacja schematów danych oraz reguł walidacji zgodnie z wymaganiami jakościowymi.
• Tworzenie mechanizmów automatycznej walidacji danych i integracja ich z procesami CI/CD.
• Tworzenie zaawansowanych zapytań SQL na potrzeby analizy danych i weryfikacji ich jakości.
• Analiza, przetwarzanie i modelowanie danych w środowiskach hurtowni danych oraz Big Data.
• Współpraca z zespołami Data Engineering, BI, produktowymi i właścicielami danych.
• Udział w rozwoju narzędzi i procesów wspierających Data Governance oraz Data Quality.

Oferujemy:

• Stawkę do 140 PLN/h netto na B2B
• Przelew wynagrodzenia w dogodnej formie
• Krótki, 14-dniowy termin płatności faktury
• Długoterminową współpracę
• Bogaty pakiet prywatnej opieki medycznej
• Dostęp do platformy kafeteryjnej MyBenefit, umożliwiającej m.in. zamawianie kart MultiSport oraz kart podarunkowych do popularnych sklepów i usług