Data Engineer – Data Contracts & Quality (GCP)

Square One Resources; Województwo mazowieckie; Híbrido; PLN 167.000 - 257.000; Jornada completa

Descripción de la vacante

Square One Resources poszukuje eksperta ds. Data Governance i Data Quality do pracy nad kontraktami danych w środowisku Google Cloud Platform. Zadania obejmują implementację, walidację i automatyzację danych zgodnie z ustalonymi specyfikacjami.

Praca w trybie hybrydowym z Warszawy, pełny etat, długoterminowa współpraca. Wymagane doświadczenie z GCP, Data Contracts i zaawansowane umiejętności SQL oraz znajomość angielskiego na poziomie B1.

Formación

• Doświadczenie z GCP i praktyczna znajomość Data Contracts oraz narzędzi wspierających automatyzację.
• Analiza, przetwarzanie i modelowanie danych; znajomość architektury hurtowni danych i Big Data.
• SQL na poziomie zaawansowanym; komunikacja po angielsku na poziomie B1.

Responsabilidades

• Implementacja i utrzymanie Data Contracts w środowisku GCP zgodnie ze specyfikacjami.
• Aktualizacja schematów danych i walidacji zgodnie z wymaganiami jakości.
• Współpraca z Data Engineering, BI i właścicielami danych.
• Tworzenie i optymalizacja zapytań SQL do analiz danych.
• Wdrażanie i doskonalenie procesów CI/CD w obszarze danych.

Conocimientos

GCP

Data Contracts

OpenAPI/JSON Schema

CI/CD

QA danych

SQL zaawansowany

Data Warehouse

Big Data

English (B1)

Descripción del empleo

O projekcie:

• Projekt realizowany dla dużej firmy z sektora telekomunikacyjnego, związany z rozwojem i utrzymaniem rozwiązań z obszaru Data Governance i Data Quality. Głównym celem jest wdrażanie i automatyzacja kontraktów danych (Data Contracts) w środowisku Google Cloud Platform, zapewnienie spójności schematów danych oraz automatycznej walidacji ich jakości. Współpraca obejmuje zespoły Data Engineering, BI i biznesowe.
• Praca hybrydowa z Warszawy (do ustalenia z Klientem), full time, long term

Wymagania:

• Doswiadczenie z GCP- Praktyczna znajomosc zagadnien dotyczacych obszaru Data Contracts (definiowane data contracts, wymagan jakosciowych) i narzedzi wspierajacych automatyzacje kontraktów (np. OpenAPI/JSON Schema, narzedzia do CI/CD, QA danych)
• Doswiadczenie w analizie, przetwarzaniu i modelowaniu danych, znajomosc architektury rozwiazan Hurtowni Danych i Big Data
• Znajomosc tworzenia zapytan SQL na poziomie zaawansowanym poparta praktycznym doswiadczeniem zawodowym
• English Level: B1

Codzienne zadania:

• Implementacja, wdrazanie i utrzymywanie kontraktów danych (Data Contracts) w srodowisku GCP na podstawie uzgodnionych specyfikacji oraz przyjetej architektury i standardów.
• Implementacja i aktualizacja schematów danych oraz regul walidacji w kontraktach danych zgodnie z wymaganiami jakosciowymi uzgodnionymi z wlascicielami danych i zespolami technicznymi.
• Implementacja automatycznej walidacji schematów i zgodnosci danych z kontraktami oraz wspólpraca przy integracji tych mechanizmów z procesami CI/CD.
• Tworzenie zapytan SQL na potrzeby analizy danych, weryfikacji wymagan jakosciowych i identyfikowania niezgodnosci z kontraktami.
• Analiza, przetwarzanie i modelowanie danych na potrzeby definiowania oraz wdrazania kontraktów w rozwiazaniach hurtowni danych i Big Data.
• Wspólpraca z zespolami produktowymi, Data Engineering, BI oraz wlascicielami danych przy uzgadnianiu wymagan, definiowaniu kontraktów i rozwiazywaniu wykrytych niezgodnosci.
• Udzial w doborze narzedzi wspierajacych automatyzacje kontraktów oraz doskonaleniu procesów ich tworzenia, aktualizowania i utrzymywania.