Data Engineer NEW Senior (old)

Jit; Polska; Hybrid; PLN 212,000 - 240,000; Full time

Job summary

Jit poszukuje specjalisty Data Engineering do wspierania Direct Marketing i przetwarzania danych. Praca obejmuje budowę pipeline’ów batchowych i streamingowych, analitykę i raportowanie, a także optymalizację kosztów chmurowych i wdrażanie dobrych praktyk data engineering.

Rola łączy Data Engineering, analitykę oraz współpracę z biznesem, z możliwością udziału w kluczowych inicjatywach firmy. Wymagana jest bardzo dobra znajomość Javy i SQL, a także doświadczenie z GCP i narzędziami BI.

Qualifications

• Bardzo dobra znajomość Javy w kontekście przetwarzania danych
• Bardzo dobra znajomość SQL (MySQL, BigQuery)
• Znajomość formatów danych Avro/Parquet/JSON i ewolucji schematów
• Modelowanie i optymalizacja w BigQuery (partitioning, clustering)
• Przetwarzanie danych: Dataflow, Dataform lub dbt, Dataproc/Spark
• Apache Airflow: projektowanie DAG-ów i monitoring
• Znajomość narzędzi orkiestracji: Cloud Composer, Workflows

Skills

Java

SQL

BigQuery

Dataflow

Airflow

dbt

GCP

Looker

Tools

Dataflow

Dataproc

Cloud Composer

dbt

BigQuery

Looker

Vertex AI

Job description

Wynagrodzenie: 1150 - 1300 PLN / Day net + vat (B2B)

Czas trwania współpracy: 3 miesiące, z możliwością przedłużenia

Dlaczego warto wybrać tę ofertę?

• Będziesz wspierać obszar marketingu bezpośredniego , pracując z danymi wykorzystywanymi w kampaniach i działaniach biznesowych
• Będziesz mieć realny wpływ na rozwój procesów raportowych, analitycznych i data-driven
• Rola łączy Data Engineering, analitykę oraz współpracę z biznesem, dając możliwość udziału w kluczowych inicjatywach organizacji

Osoba na tym stanowisku będzie wspierać zespół Direct Marketing oraz wykorzystywane przez niego platformy w obszarze przetwarzania danych, raportowania i analizy. Rola obejmuje również optymalizację wydajności pipeline’ów i kosztów chmurowych oraz wdrażanie dobrych praktyk z zakresu data engineering.

Wymagania

• Bardzo dobra znajomość Javy w kontekście przetwarzania danych: budowanie pipeline’ów batchowych i streamingowych, Apache Beam oraz bibliotek klienckich GCP (BigQuery, Pub/Sub, Cloud Storage).
• Bardzo dobra znajomość SQL, w szczególności dialektów MySQL oraz BigQuery (GoogleSQL).
• Znajomość formatów danych: Avro, Parquet, Protobuf, JSON, w tym projektowania schematów oraz zarządzania ich ewolucją (schema evolution).
• BigQuery: modelowanie danych, partycjonowanie i klastrowanie, optymalizacja wydajności zapytań oraz kosztów (slots, reservations, INFORMATION_SCHEMA).
• Przetwarzanie danych: Dataflow, Dataform lub dbt, Dataproc / Serverless Spark.
• Apache Airflow: projektowanie DAG-ów, operatory i sensory, harmonogramowanie, zarządzanie zależnościami i ponowieniami (retries), monitoring oraz troubleshooting, w tym praca z Cloud Composer.
• Inne narzędzia do orkiestracji: Workflows, Cloud Scheduler.
• Raportowanie i analityka: Looker, Looker Studio.
• Analityka marketingowa i ML, m.in. segmentacja, propensity i churn: BigQuery ML oraz podstawowa znajomość Vertex AI.
• Udostępnianie danych i integracja z usługami wewnętrznymi: Bigtable, Memorystore, Spanner, Cloud Run, Apigee / API Gateway, BigQuery Storage APIs, remote functions, Private Service Connect.
• Data governance i prywatność danych: Dataplex, Sensitive Data Protection, policy tags, zabezpieczenia na poziomie wierszy i kolumn (row- and column-level security), obsługa danych PII oraz zgód.
• Zarządzanie środowiskiem GCP: IAM i service accounts, hierarchia zasobów (organizacja, foldery, projekty), podstawy sieci VPC, VPC Service Controls, Cloud KMS, Secret Manager, Cloud Monitoring i Logging.
• Zarządzanie kosztami chmurowymi: billing exports, budżety i alerty, monitoring oraz optymalizacja kosztów.
• Dobre praktyki inżynierskie: testowanie jakości danych, dokumentacja, code review oraz tworzenie reużywalnych wzorców pipeline’ów.
• Umiejętność współpracy z interesariuszami biznesowymi z obszaru marketingu oraz przekładania potrzeb biznesowych na rozwiązania oparte na danych

Mile widziane

• Python w obszarze data engineering: pandas, Polars, PyArrow, PySpark, Apache Beam Python SDK, google-cloud-bigquery oraz inne biblioteki klienckie GCP.
• Doświadczenie w pracy z danymi marketingowymi, np. CRM, kampaniami oraz GA4.
• Znajomość Managed Kafka oraz BigQuery continuous queries.

Technologie z jakimi będziesz pracować

Klient – dlaczego warto wybrać akurat tego klienta z portfolio JIT?

Polska firma odzieżowa, wywodząca się z Gdańska, to jeden z przykładów znaczącego sukcesu w biznesie. Obecnie działa na ponad 25 rynkach, prowadząc sieć ponad 2000 sklepów fizycznych oraz rozwijając dynamicznie swoją obecność w międzynarodowym e-commerce. W ostatnich latach firma skupia swoje inwestycje głównie na dziedzinie IT, która stała się głównym czynnikiem rozwoju biznesu.

The Human factor of IT - to nie tylko slogan, to filozofia. Fundamentem Jit Team są ludzie, dlatego to właśnie Was traktujemy priorytetowo. Zatrudniamy ponad 770 doświadczonych ekspertów, którym oferujemy rozwojowe projekty, szeroki zakres benefitów oraz autorski program rozwoju zawodowego. Wspólnie z klientami z całego świata tworzymy innowacyjne rozwiązania IT, dostarczane przez wysoko specjalizowane i efektywne zespoły.

Za naszą maksymą stoją, także działania charytatywne i edukacyjne. Wspieramy szkoły, uczelnie i instytucje edukacyjne – prowadząc zajęcia, projekty edukacyjne, sponsorując wydarzenia czy przekazując sprzęt do nauki. Oferujemy staże umożliwiające rozpoczęcie kariery w IT. Wspieramy ratowników wodnych oraz szpitale, dostarczając potrzebne wyposażenie. Wspieramy też liczne organizacje charytatywne wspierające ubogich, dzieci i osoby starsze. Jesteśmy Polską firmą i dzielimy się tym, co osiągnęliśmy przez ponad 15 lat działalności. Wspierając rodzime inicjatywy, dbamy o obieg dobrej energii.