Senior Data Engineer: Scalable Ingestion (Scala/Java)

Allegro; Warszawa; Hybrid; PLN 240,000 - 420,000; Full time

Benefits offered by this job

Well-located offices

MacBook Pro / Dell laptop

Cafeteria plan benefits

English classes

Training budget

Volunteer day

Social events

Job summary

Allegro w Warszawie poszukuje Senior Data Engineerów do zbudowania wysokodostępnej ingestii danych dla milionów użytkowników. Platforma obsługuje miliardy zdarzeń dziennie i łączy on-prem z usługami Google Cloud Platform. Praca w modelu hybrydowym, w zespole Data & AI, w dynamicznym środowisku Allegro.

Wymagane umiejętności w Scala/Java/Python, znajomość Spark/Kafka/Beam oraz chmury (GCP/AWS/Azure). Dbałość o czysty kod, TDD i CI/CD, dobra znajomość angielskiego.

Qualifications

• Opis doświadczenia w pracy z systemami rozproszonymi, przetwarzaniem danych i przechowywaniem danych.
• Dobre praktyki programistyczne: czysty kod, przeglądy, TDD, CI/CD.

Responsibilities

• Projektowanie i rozwijanie skalowalnych rozproszonych potoków danych dla milionów użytkowników Allegro.
• Praca z technologiami Spark, Kafka, Beam w środowisku GCP/AWS/Azure.
• Współpraca z zespołami w celu budowy i utrzymania platformy danych i sztucznej inteligencji.

Skills

Scala

Java

Python

Distributed systems

Data storage

Data processing frameworks

GCP

Azure

AWS

TDD

CI/CD

Unix/Linux

English B2

Tools

Kubernetes

Docker

Consul

GitHub

GitHub Actions

Spark

Kafka

Beam

BigQuery

Pub/Sub

Dataflow

Hadoop

Job description

Allegro w Warszawie poszukuje Senior Data Engineerów do zbudowania wysokodostępnej ingestii danych dla milionów użytkowników. Platforma obsługuje miliardy zdarzeń dziennie i łączy on-prem z usługami Google Cloud Platform. Praca w modelu hybrydowym, w zespole Data & AI, w dynamicznym środowisku Allegro.

Wymagane umiejętności w Scala/Java/Python, znajomość Spark/Kafka/Beam oraz chmury (GCP/AWS/Azure). Dbałość o czysty kod, TDD i CI/CD, dobra znajomość angielskiego.