Data Engineer (Databricks, Azure)

MW Consulting; Wrocław, Kraków; On-site; PLN 180,000 - 250,000; Full time

Job summary

MW Consulting poszukuje specjalisty ds. inżynierii danych do projektowania i utrzymania skalowalnych pipeline'ów danych w środowisku Databricks i Azure.

Do obowiązków należy rozwijanie architektur danych oraz end-to-end ETL, we współpracy z data scientistami i zespołami inżynierskimi.

Qualifications

• Znajomość Databricks i architektury Data Lake
• Doświadczenie z chmurą Azure i usługami danych
• Doświadczenie z Pythonem i PySpark
• Znajomość SQL i zapytań danych
• Koncepcje inżynierii danych: ETL, modelowanie, medallion architecture
• Znajomość Terraform i IaC
• Angielski na poziomie minimum B2

Responsibilities

• Projektowanie, budowa i utrzymanie skalowalnych pipeline'ów danych
• Rozwój architektur danych i procesów ETL end-to-end w Databricks i Azure
• Współpraca z data scientistami i zespołami inżynierskimi, optymalizacja przepływów danych
• Dbałość o niezawodność systemów i zgodność z governance
• Możliwość objęcia dodatkowych obowiązków Team Leadera w zespołach seniorszych

Skills

Python

PySpark

SQL

Data engineering

Data governance

English (B2)

Tools

Databricks

Azure Data Factory

Azure Data Lake

Azure SQL Database

Terraform

Job description

Będziesz projektować, budować i utrzymywać skalowalne pipeline'y danych oraz rozwijać architektury danych i procesy ETL end-to-end w środowisku Databricks i Azure. Współpracujesz z data scientistami, analitykami i zespołami inżynierskimi, optymalizujesz przepływy danych i dbasz o niezawodność systemów.

Uwaga: ogłoszenie wskazuje, że możesz być przenoszony między projektami dla różnych domen, a na poziomie seniorskim możesz być obciążony dodatkowymi obowiązkami Team Leadera — warto to uwzględnić przy ocenie stabilności i zakresu roli.

• komercyjne doświadczenie z Databricks
• komercyjne doświadczenie z Azure cloud i usługami (np. Azure Data Factory, Data Lake, SQL Database, Azure Databricks)
• komercyjne doświadczenie z Python i PySpark
• komercyjne doświadczenie z SQL
• znajomość koncepcji Data Engineering: ETL, modelowanie danych, medallion architecture, hurtownie danych, data governance
• komercyjne doświadczenie z Terraform
• angielski na poziomie min. B2