Data Engineer – Data Contracts & Quality (GCP)

SQUARE ONE RESOURCES sp. z o.o.; Województwo mazowieckie; Híbrido; PLN 134.000 - 212.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Medicover

Medicover Sport

Descripción de la vacante

SQUARE ONE RESOURCES sp. z o.o. prowadzi projekt dla dużej firmy z sektora telekomunikacyjnego, koncentrując się na Data Governance i Data Quality.

Celem jest implementacja i automatyzacja Data Contracts w środowisku Google Cloud Platform, zapewnienie spójności schematów danych i automatyczną walidację jakości danych. Praca hybrydowa z Warszawy, pełny etat, długoterminowy projekt. Współpraca obejmuje zespoły Data Engineering, BI oraz biznesowe, z udziałem narzędzi takich jak dbt, Dataform i ODCS

Formación

• Doświadczenie z GCP i Data Contracts.
• Znajomość zagadnień Data Contracts, CI/CD i QA danych.
• Doświadczenie w analizie, przetwarzaniu i modelowaniu danych.
• Znajomość SQL na zaawansowanym poziomie.
• Poziom języka angielskiego min B1.

Responsabilidades

• Implementacja, wdrażanie i utrzymywanie kontraktów danych w GCP zgodnie ze specyfikacjami i standardami.
• Aktualizacja schematów danych oraz walidacji w kontraktach danych.
• Współpraca przy integracji walidacji z procesami CI/CD.
• Tworzenie zapytań SQL na potrzeby analizy danych i weryfikacji jakości danych.
• Analiza i modelowanie danych w kontekście hurtowni danych i Big Data.
• Współpraca z zespołami produktowymi, Data Engineering, BI i właścicielami danych.
• Wybór narzędzi wspierających automatyzację kontraktów i doskonalenie procesów.

Conocimientos

GCP experience

Advanced SQL

Data governance

Data modeling

Team collaboration

Herramientas

OpenAPI

JSON Schema

CI/CD tools

QA tooling

Descripción del empleo

Nasze wymagania:

• Doswiadczenie z GCP
• Praktyczna znajomosc zagadnien dotyczacych obszaru Data Contracts (definiowane data contracts, wymagan jakosciowych) i narzedzi wspierajacych automatyzacje kontraktów (np. OpenAPI/JSON Schema, narzedzia do CI/CD, QA danych)
• Doswiadczenie w analizie, przetwarzaniu i modelowaniu danych, znajomosc architektury rozwiazan Hurtowni Danych i Big Data
• Znajomosc tworzenia zapytan SQL na poziomie zaawansowanym poparta praktycznym doswiadczeniem zawodowym
• English Level: B1

Mile widziane:

• Kilka lat praktycznego doswiadczenia w Data Engineering, Data Governance, Data Quality, analizie danych lub pokrewnych obszarach, w tym doswiadczenie w samodzielnym projektowaniu i wdrazaniu rozwiazan przekrojowych.
• Doswiadczenie w projektowaniu modeli danych i budowie warstw danych
• Praktyka w zapewnieniu jakosci danych (testowanie, monitorowanie, alertowanie)
• Doswiadczenie w dokumentacji technicznej oraz code review
• Doswiadczenie w samodzielnym prowadzeniu tematów wymagajacych wspólpracy wielu zespolów — identyfikowaniu zaleznosci, ustalaniu odpowiedzialnosci, zarzadzaniu blockerami i doprowadzaniu do decyzji.
• Umiejetnosc dzialania w sytuacji niepelnych wymagan i braku jednoznacznego rozwiazania — od zdefiniowania problemu do wdrozenia rozwiazania.
• Umiejetnosc pracy zespolowej i komunikacji z zespolami biznesowymi, technicznymi oraz analitycznymi.
• Proaktywnosc, odpowiedzialnosc i nastawienie na jakosc w obszarze danych.
• Znajomosc standardu ODCS Znajomosc ekosystemu GCP
• Znajomosc zagadnien z obszaru Data Governance i Data Quality
• Doswiadczenie z narzedziami zarzadzania danymi, np.: dbt, Dataform (transformacja i dokumentacja danych)
• Knowledge Catalog (dawniej Dataplex)
• Data Catalog (zarzadzanie ladem danych)

O projekcie:

Projekt realizowany dla dużej firmy z sektora telekomunikacyjnego, związany z rozwojem i utrzymaniem rozwiązań z obszaru Data Governance i Data Quality. Głównym celem jest wdrażanie i automatyzacja kontraktów danych (Data Contracts) w środowisku Google Cloud Platform, zapewnienie spójności schematów danych oraz automatycznej walidacji ich jakości. Współpraca obejmuje zespoły Data Engineering, BI i biznesowe.

Praca hybrydowa z Warszawy (do ustalenia z Klientem), full time, long term

Zakres obowiązków:

• Implementacja, wdrazanie i utrzymywanie kontraktów danych (Data Contracts) w srodowisku GCP na podstawie uzgodnionych specyfikacji oraz przyjetej architektury i standardów.
• Implementacja i aktualizacja schematów danych oraz regul walidacji w kontraktach danych zgodnie z wymaganiami jakosciowymi uzgodnionymi z wlascicielami danych i zespolami technicznymi.
• Implementacja automatycznej walidacji schematów i zgodnosci danych z kontraktami oraz wspólpraca przy integracji tych mechanizmów z procesami CI/CD.
• Tworzenie zapytan SQL na potrzeby analizy danych, weryfikacji wymagan jakosciowych i identyfikowania niezgodnosci z kontraktami.
• Analiza, przetwarzanie i modelowanie danych na potrzeby definiowania oraz wdrazania kontraktów w rozwiazaniach hurtowni danych i Big Data.
• Wspólpraca z zespolami produktowymi, Data Engineering, BI oraz wlascicielami danych przy uzgadnianiu wymagan, definiowaniu kontraktów i rozwiazywaniu wykrytych niezgodnosci.
• Udzial w doborze narzedzi wspierajacych automatyzacje kontraktów oraz doskonaleniu procesów ich tworzenia, aktualizowania i utrzymywania.

Oferujemy:

• full-time
• long-term
• Medicover
• Medicover Sport