Azure Data Engineer - PySpark, Databricks & Pipelines

ASTEK Polska Sp. z o.o.; Kraków; Hybrid; PLN 176,000 - 230,000; Full time

Benefits offered by this job

Multisport

Prywatna opieka medyczna

Ubezpieczenie na życie

Job summary

Astek Polska sp. z o.o. poszukuje Data Engineer do pracy w Krakowie, koncentrując się na budowie nowoczesnych rozwiązań data engineeringowych w środowisku Azure.

Codziennie będziesz pracować z Azure Databricks / PySpark, integrując dane z różnych źródeł i dostarczając dane dla analiz biznesowych. W zespole GOTO-HR w Krakowie będziesz brać udział w projektach payrollowych w regionie Europy i obu Ameryk, pracując w modelu hybrydowym, z naciskiem na wysoką jakość, automatizację i współpracę z

Qualifications

• Minimum 4 lata doświadczenia jako Data Engineer.
• Bardzo dobra znajomość Python.
• Praktyczne doświadczenie z PySpark.
• Doświadczenie z Azure.
• Znajomość Azure Databricks.
• Bardzo dobra znajomość SQL.
• Doświadczenie w budowaniu i utrzymywaniu data pipelines.
• Doświadczenie w transformacji i przetwarzaniu danych.
• Znajomość Linux / Shell scripting.
• Doświadczenie z Git / GitLab.
• Znajomość CI/CD oraz DevOps.
• Doświadczenie w pracy w Scrum/Agile.
• Umiejętność współpracy bezpośrednio z użytkownikami biznesowymi.
• Bardzo dobra znajomość języka angielskiego.

Responsibilities

• Przekształcać dane w wartościowe wnioski wspierające decyzje biznesowe, wykorzystując nasze wewnętrzne platformy danych.
• Tworzyć potoki danych (data pipelines) służące do pozyskiwania, przetwarzania i dystrybucji danych.
• Dbać o jakość, bezpieczeństwo, niezawodność i zgodność rozwiązań z przepisami i standardami.
• Wdrażać mechanizmy widoczności i monitorowania stanu systemów (observability) oraz pomagać w rozwiązywaniu incydentów.
• Reprezentować potrzeby klientów i pracować nad ich zrozumieniem.

Skills

Python

PySpark

Azure

Azure Databricks

SQL

Data pipelines

Shell scripting

Git

GitLab

DevOps

Agile

English

Tools

Git

GitLab

Azure Databricks

Job description

Astek Polska sp. z o.o. poszukuje Data Engineer do pracy w Krakowie, koncentrując się na budowie nowoczesnych rozwiązań data engineeringowych w środowisku Azure.

Codziennie będziesz pracować z Azure Databricks / PySpark, integrując dane z różnych źródeł i dostarczając dane dla analiz biznesowych. W zespole GOTO-HR w Krakowie będziesz brać udział w projektach payrollowych w regionie Europy i obu Ameryk, pracując w modelu hybrydowym, z naciskiem na wysoką jakość, automatizację i współpracę z