Data Engineer | Krakow

DCV Technologies; Kraków; On-site; PLN 180,000 - 240,000; Full time

Job summary

DCV Technologies w Krakowie poszukuje inżyniera danych do budowy i utrzymania skalowalnych potoków danych oraz procesów ETL/ELT na platformie Azure dla dużych wolumenów danych. Praca z optymalizacją Spark i zespołem data scientists oraz architektami jest kluczowa.

Wymagane 6–10 lat doświadczenia w IT, w tym inżynierii danych, 4–5 lat PySpark i Python, oraz znajomość Azure Data Factory. Mile widziane umiejętności w zakresie rozproszonych systemów przetwarzania danych i modelowania danych.

Qualifications

• Co najmniej 6–10 lat ogólnego doświadczenia w IT, w tym inżynierii danych.
• 4–5 lat praktycznego doświadczenia z PySpark i Python.
• Doświadczenie z Azure Data Factory: pipeline, orkiestracja, harmonogramowanie, monitoring.
• Znajomość technik optymalizacji Spark (partycjonowanie, caching, optymalizacja joinów i zapytań).
• Doświadczenie z rozproszonymi systemami przetwarzania danych na dużą skalę.
• Znajomość SQL, relacyjnych baz danych i modelowania danych.

Responsibilities

• Budowa i utrzymanie skalowalnych potoków danych oraz procesów ETL/ELT na platformie Azure.
• Optymalizacja wydajności Spark; praca z data scientists i architektami.
• Uwaga: część pracy może polegać na naprawianiu i utrzymaniu istniejących rozwiązań, które nie spełniają aktualnych standardów.

Skills

PySpark

Python

SQL

Spark optimization

Distributed processing

Tools

Azure Data Factory

Azure

Job description

Budowa i utrzymanie skalowalnych potoków danych oraz procesów ETL/ELT na platformie Azure dla dużych wolumenów danych, z optymalizacją wydajności Spark i pracą w zespole z data scientistami i architektami. To rola dla samodzielnego inżyniera, który lubi rozwiązywać problemy wydajnościowe i pracować z rozproszonym przetwarzaniem.

Uwaga: część pracy może polegać na naprawianiu i utrzymaniu istniejących rozwiązań, które nie spełniają obecnych standardów.

• 6-10 lat ogólnego doświadczenia w IT, w tym w inżynierii danych;
• 4-5 lat praktycznego doświadczenia z PySpark i Python;
• doświadczenie z Azure Data Factory (ADF): pipeline, orkiestracja, harmonogramowanie, monitoring;
• znajomość technik optymalizacji Spark (partycjonowanie, caching, optymalizacja joinów i zapytań);
• doświadczenie z rozproszonymi systemami przetwarzania danych na dużą skalę;
• znajomość SQL, relacyjnych baz danych i modelowania danych