Spark Data Engineer - Cloud & Big Data

Addepto; Kraków; Hybrid; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Elastyczny czas pracy

Praca zdalna lub stacjonarna

Szkolenia i konferencje

Budżet na rozwój kompetencji

Job summary

Addepto poszukuje Data Engineer (Spark) w Krakowie do rozwijania dużej platformy danych przetwarzającej dane motoryzacyjne. Praca obejmuje projektowanie i utrzymanie potoków danych w trybie streaming i batch, optymalizację przepływów oraz współpracę z zespołami ds. danych i chmur.

Wymagana jest min. 3 lata doświadczenia z systemami Big Data, silne kompetencje Python/Java/Scala, oraz praktyczna znajomość Spark, Cloudera, Kafka, Airflow i Iceberg.

Qualifications

• Minimum 3 years of commercial experience with Big Data systems, data governance and data management.
• Strong Python (or Java/Scala) coding skills with OOP design.
• Hands-on with Spark, Cloudera, Kafka, Airflow, NiFi, Docker and Iceberg.
• Experience deploying solutions in cloud environments.
• Excellent communication and client-management skills, including consulting experience.

Responsibilities

• Develop and maintain a high-performance data processing platform for automotive data.
• Design and implement data pipelines for streaming and batch processing.
• Optimize data workflows using Spark, Cloudera and Airflow.
• Work with Iceberg and data lake technologies for structured/unstructured data.
• Collaborate with cross-functional teams to integrate data sources.
• Monitor, troubleshoot and ensure high availability and performance.
• Leverage AWS for infrastructure and scaling of workloads.
• Write high-quality Python/Java/Scala code for data tasks and automation.

Skills

Python

SQL

Spark

Airflow

Java

Scala

Data processing

OO programming

Education

Bachelor’s degree in technical or mathematical studies

Tools

Spark

Cloudera

Kafka

Airflow

NiFi

Docker

Iceberg

Databricks

AWS

Trino

Kubernetes

Job description

Addepto poszukuje Data Engineer (Spark) w Krakowie do rozwijania dużej platformy danych przetwarzającej dane motoryzacyjne. Praca obejmuje projektowanie i utrzymanie potoków danych w trybie streaming i batch, optymalizację przepływów oraz współpracę z zespołami ds. danych i chmur.

Wymagana jest min. 3 lata doświadczenia z systemami Big Data, silne kompetencje Python/Java/Scala, oraz praktyczna znajomość Spark, Cloudera, Kafka, Airflow i Iceberg.