Senior Azure Data Engineer: Databricks, Spark & Data Lake

AtlantisJobs; Warszawa; On-site; PLN 240,000 - 400,000; Full time

Job summary

Mindbox w Warszawie poszukuje Senior Azure Data Engineer do budowy i rozwoju platformy danych na Azure Databricks, Apache Spark i Data Lake. Będziesz projektować i utrzymywać skalowalne potoki danych, integrować źródła, optymalizować ETL/ELT i dbać o jakość oraz stabilność przepływów, współpracując z architektami, analitykami i biznesem.

Wymagane co najmniej 5 lat doświadczenia, biegłość w Pythonie i SQL, dobra znajomość chmury Azure oraz modeli przetwarzania danych.

Qualifications

• Minimum 5 years of experience as Data Engineer
• Proficiency in Azure Data Platform, including Azure Databricks
• Strong knowledge of Apache Spark and distributed processing
• Excellent Python and SQL skills
• Experience with Data Lake architectures
• Understanding of data modeling and data processing principles
• Knowledge of Git and teamwork in a collaborative environment

Responsibilities

• Design and maintain scalable data pipelines on Azure Databricks
• Integrate data from multiple sources and optimize ETL/ELT processes
• Ensure data quality and reliability of data flows
• Collaborate with architects, analysts and business stakeholders

Skills

Azure Databricks

Apache Spark

Python

SQL

Data Lake

Data Modeling

Distributed Processing

Git

Team Collaboration

Tools

Azure Databricks

Git

Job description

Mindbox w Warszawie poszukuje Senior Azure Data Engineer do budowy i rozwoju platformy danych na Azure Databricks, Apache Spark i Data Lake. Będziesz projektować i utrzymywać skalowalne potoki danych, integrować źródła, optymalizować ETL/ELT i dbać o jakość oraz stabilność przepływów, współpracując z architektami, analitykami i biznesem.

Wymagane co najmniej 5 lat doświadczenia, biegłość w Pythonie i SQL, dobra znajomość chmury Azure oraz modeli przetwarzania danych.