Senior Data Engineer - Azure Data & Spark

DCV Technologies; Kraków; On-site; PLN 180,000 - 240,000; Full time

Job summary

DCV Technologies w Krakowie poszukuje inżyniera danych do budowy i utrzymania skalowalnych potoków danych oraz procesów ETL/ELT na platformie Azure dla dużych wolumenów danych. Praca z optymalizacją Spark i zespołem data scientists oraz architektami jest kluczowa.

Wymagane 6–10 lat doświadczenia w IT, w tym inżynierii danych, 4–5 lat PySpark i Python, oraz znajomość Azure Data Factory. Mile widziane umiejętności w zakresie rozproszonych systemów przetwarzania danych i modelowania danych.

Qualifications

• Co najmniej 6–10 lat ogólnego doświadczenia w IT, w tym inżynierii danych.
• 4–5 lat praktycznego doświadczenia z PySpark i Python.
• Doświadczenie z Azure Data Factory: pipeline, orkiestracja, harmonogramowanie, monitoring.
• Znajomość technik optymalizacji Spark (partycjonowanie, caching, optymalizacja joinów i zapytań).
• Doświadczenie z rozproszonymi systemami przetwarzania danych na dużą skalę.
• Znajomość SQL, relacyjnych baz danych i modelowania danych.

Responsibilities

• Budowa i utrzymanie skalowalnych potoków danych oraz procesów ETL/ELT na platformie Azure.
• Optymalizacja wydajności Spark; praca z data scientists i architektami.
• Uwaga: część pracy może polegać na naprawianiu i utrzymaniu istniejących rozwiązań, które nie spełniają aktualnych standardów.

Skills

PySpark

Python

SQL

Spark optimization

Distributed processing

Tools

Azure Data Factory

Azure

Job description

DCV Technologies w Krakowie poszukuje inżyniera danych do budowy i utrzymania skalowalnych potoków danych oraz procesów ETL/ELT na platformie Azure dla dużych wolumenów danych. Praca z optymalizacją Spark i zespołem data scientists oraz architektami jest kluczowa.

Wymagane 6–10 lat doświadczenia w IT, w tym inżynierii danych, 4–5 lat PySpark i Python, oraz znajomość Azure Data Factory. Mile widziane umiejętności w zakresie rozproszonych systemów przetwarzania danych i modelowania danych.