Data Engineer for Marketing Data Pipelines

Jit Team; Województwo pomorskie; Vor Ort; PLN 212.000 - 240.000; Vollzeit

Zusammenfassung

Jit Team w Polsce poszukuje specjalisty ds. inżynierii danych, który wesprze Direct Marketing w przetwarzaniu danych, raportowaniu i analizie.

Będziesz projektować i optymalizować pipeline’y oraz koszty chmury, współpracując z zespołami biznesowymi nad praktycznymi rozwiązaniami data-driven. Wymagana jest bardzo dobra znajomość Javy i SQL, doświadczenie z BigQuery, Dataflow/Airflow oraz praktyki w projektowaniu schematów danych, bezpieczeństwie danych i optymalizacji zapytań.

Qualifikationen

• Bardzo dobra znajomość Javy w kontekście przetwarzania danych: budowanie pipeline’ów batchowych i streamingowych, Apache Beam oraz bibliotek klienckich GCP (BigQuery, Pub/Sub, Cloud Storage).
• Bardzo dobra znajomość SQL, w szczególności MySQL i BigQuery (GoogleSQL).
• Znajomość formatów danych: Avro, Parquet, Protobuf, JSON, w tym projektowania schematów i ewolucji.
• BigQuery: modelowanie danych, partycjonowanie i klastrowanie, optymalizacja zapytań i kosztów.
• Przetwarzanie danych: Dataflow, Dataform lub dbt, Dataproc / Serverless Spark.
• Apache Airflow: DAG-i, operatory, harmonogramowanie, retries, monitoring, Cloud Composer.
• Inne narzędzia orkiestracji: Workflows, Cloud Scheduler.
• Raportowanie i analityka: Looker, Looker Studio.
• Analityka marketingowa i ML: BigQuery ML, Vertex AI (podstawy).
• Udostępnianie danych i integracja z usługami: Bigtable, Memorystore, Spanner, Cloud Run, API Gateway, Private Service Connect.
• Data governance i prywatność: Dataplex, Sensitive Data Protection, policy tags, row- and column-level security, obsługa PII.
• Zarządzanie GCP: IAM, service accounts, VPC, KMS, Secret Manager, Monitoring i Logging.
• Zarządzanie kosztami: billing exports, budżety, alerty, optymalizacja.
• Dobre praktyki inżynierskie: testowanie jakości danych, dokumentacja, code review, reużywalne pipeline’y.

Aufgaben

• Wspieranie zespołu Direct Marketing oraz wykorzystywanie platform w obszarze przetwarzania danych, raportowania i analizy.
• Optymalizacja wydajności pipeline’ów i kosztów chmurowych.
• Wdrażanie dobrych praktyk z zakresu data engineering oraz współpraca z interesariuszami biznesowymi w zakresie potrzeb analitycznych.

Tools

Java

SQL

BigQuery

Avro

Parquet

Protobuf

JSON

Dataflow

Dataform

Dbt

Dataproc

Airflow

Cloud Composer

Looker

Looker Studio

BigQuery ML

Vertex AI

Kafka

Python

GCP

IAM

Jobbeschreibung

Jit Team w Polsce poszukuje specjalisty ds. inżynierii danych, który wesprze Direct Marketing w przetwarzaniu danych, raportowaniu i analizie.

Będziesz projektować i optymalizować pipeline’y oraz koszty chmury, współpracując z zespołami biznesowymi nad praktycznymi rozwiązaniami data-driven. Wymagana jest bardzo dobra znajomość Javy i SQL, doświadczenie z BigQuery, Dataflow/Airflow oraz praktyki w projektowaniu schematów danych, bezpieczeństwie danych i optymalizacji zapytań.