Data Engineer with Databricks

IT CONNECT Sp. z o.o. Sp. k.; Wrocław; On-site; PLN 180,000 - 240,000; Full time

Job summary

IT CONNECT Sp. z o.o. Sp. k. poszukuje Data Engineera do zespołu Risk Technology we Wrocławiu. Będziesz projektować pipeline'y w PySpark i SQL, rozwijać modele danych i procesy ETL oraz wspierać architekturę chmurową, CI/CD i data governance.

Wymagane doświadczenie z Databricks, PySpark, SQL i hurtowni danych, a także znajomość Azure Data Lake/Factory. Doświadczenie z Agile mile widziane.

Qualifications

• Wymagane doświadczenie z Databricks i PySpark.
• Bardzo dobra znajomość SQL i hurtowni danych.
• Doświadczenie z Azure Data Lake i/lub Azure Data Factory.
• Znajomość modelowania danych, ETL/ELT i optymalizacji wydajności.
• Praca w zespołach Agile i dobre praktyki inżynierskie.

Responsibilities

• Projektowanie pipeline'ów w PySpark i SQL.
• Rozwój modeli danych i procesów ETL/ELT.
• Wsparcie architektury chmurowej, CI/CD i data governance.
• Mentorowanie juniorów w zespole Risk Technology.

Skills

Databricks

PySpark

SQL

Data modeling

ETL/ELT

Agile

Tools

Azure Data Lake

Azure Data Factory

Job description

Zespół Risk Technology buduje i utrzymuje korporacyjne rozwiązania danych na Databricks, dostarczając skalowalne platformy danych i możliwości analityczne. Będziesz projektować pipeline'y w PySpark i SQL, rozwijać modele danych i procesy ETL oraz wspierać architekturę chmurową, CI/CD i data governance. Oferta dla doświadczonego Data Engineera, który dodatkowo mentoruje juniorów i dba o dobre praktyki inżynierskie.

• doświadczenie z Databricks i PySpark
• zaawansowana znajomość SQL i hurtowni danych
• doświadczenie z Azure Data Lake, Azure Data Factory lub podobnymi technologiami chmurowymi
• znajomość modelowania danych, ETL/ELT i optymalizacji wydajności
• doświadczenie w pracy w zespołach Agile