Lead Data Engineer: Scalable Pipelines & Platforms

HeadHR; Kraków; On-site; PLN 180,000 - 280,000; Full time

Job summary

HeadHR poszukuje Data Engineer, który będzie projektować, rozwijać i optymalizować skalowalne potoki ETL/ELT oraz integrować dane z różnych źródeł. Będziesz pracować z platformami danych opartymi na Hadoop, Spark i Splunk, implementować rozwiązania w Pythonie i współpracować z zespołami BI i Analytics.

Wymagane jest doświadczenie w projektowaniu i utrzymaniu złożonych potoków danych, znajomość SQL/NoSQL, Git i CI/CD oraz umiejętność mentoringu zespołu.

Qualifications

• Doświadczenie w inżynierii danych w środowiskach korporacyjnych.

Responsibilities

• Projektowanie, rozwijanie i optymalizowanie skalowalnych potoków ETL/ELT.
• Zarządzanie procesami pobierania i transformacji danych (strukturalnych, semistrukturalnych i niestrukturalnych).
• Praca z platformami danych opartymi na Hadoop, Spark i Splunk.
• Tworzenie rozwiązań w Pythonie z dbałością o jakość, wydajność i utrzymanie.
• Współpraca z zespołami BI, Analytics i inżynierii w celu dostarczania niezawodnych rozwiązań danych.
• Wspieranie CI/CD i stosowanie dobrych praktyk inżynieryjnych, w tym kontrola źródeł i testy automatyczne.
• Zapewnienie odporności usługi, zgodności z governance i risk management.
• Diagnostyka i rozwiązywanie skomplikowanych problemów inżynieryjnych w produkcji.
• Mentorowanie młodszych inżynierów i dzielenie się wiedzą techniczną w zespole.
• Wnoszenie ulepszeń poprzez promowanie dobrych praktyk inżynieryjnych i nowych technologii.

Skills

Data engineering experience

Hadoop

Spark

Splunk

Python

SQL

NoSQL

Data modelling

CI/CD

Git

Analytical skills

Stakeholder management

Tools

Git

CI/CD pipelines

Job description

HeadHR poszukuje Data Engineer, który będzie projektować, rozwijać i optymalizować skalowalne potoki ETL/ELT oraz integrować dane z różnych źródeł. Będziesz pracować z platformami danych opartymi na Hadoop, Spark i Splunk, implementować rozwiązania w Pythonie i współpracować z zespołami BI i Analytics.

Wymagane jest doświadczenie w projektowaniu i utrzymaniu złożonych potoków danych, znajomość SQL/NoSQL, Git i CI/CD oraz umiejętność mentoringu zespołu.