Senior Azure Data Engineer

AtlantisJobs; Warszawa; On-site; PLN 240,000 - 400,000; Full time

Job summary

Mindbox w Warszawie poszukuje Senior Azure Data Engineer do budowy i rozwoju platformy danych na Azure Databricks, Apache Spark i Data Lake. Będziesz projektować i utrzymywać skalowalne potoki danych, integrować źródła, optymalizować ETL/ELT i dbać o jakość oraz stabilność przepływów, współpracując z architektami, analitykami i biznesem.

Wymagane co najmniej 5 lat doświadczenia, biegłość w Pythonie i SQL, dobra znajomość chmury Azure oraz modeli przetwarzania danych.

Qualifications

• Minimum 5 years of experience as Data Engineer
• Proficiency in Azure Data Platform, including Azure Databricks
• Strong knowledge of Apache Spark and distributed processing
• Excellent Python and SQL skills
• Experience with Data Lake architectures
• Understanding of data modeling and data processing principles
• Knowledge of Git and teamwork in a collaborative environment

Responsibilities

• Design and maintain scalable data pipelines on Azure Databricks
• Integrate data from multiple sources and optimize ETL/ELT processes
• Ensure data quality and reliability of data flows
• Collaborate with architects, analysts and business stakeholders

Skills

Azure Databricks

Apache Spark

Python

SQL

Data Lake

Data Modeling

Distributed Processing

Git

Team Collaboration

Tools

Azure Databricks

Git

Job description

Mindbox szuka Senior Azure Data Engineer do budowy i rozwoju nowoczesnej platformy danych na Azure Databricks, Apache Spark i Data Lake. Będziesz projektować i utrzymywać skalowalne potoki danych, integrować dane z wielu źródeł, optymalizować ETL/ELT i dbać o jakość oraz stabilność przepływów, współpracując z architektami, analitykami i biznesem. To oferta dla inżyniera z min. 5-letnim doświadczeniem, który dobrze czuje się w chmurze Azure i rozproszonym przetwarzaniu danych. Uwaga: 'flexible cooperation model' nie precyzuje warunków, a dni zdalne zależą od ustaleń klienta i mogą zostać ograniczone.

• 5+ lat doświadczenia jako Data Engineer
• ekspertyza w Azure Data Platform, w tym Azure Databricks
• solidna znajomość Apache Spark i przetwarzania rozproszonego
• bardzo dobre umiejętności w Python i SQL
• doświadczenie z architekturami Data Lake
• dobre zrozumienie modelowania danych i zasad przetwarzania danych
• znajomość Git i pracy w środowisku zespołowym