Lead Data Engineer

HeadHR; Kraków; On-site; PLN 180,000 - 280,000; Full time

Job summary

HeadHR poszukuje Data Engineer, który będzie projektować, rozwijać i optymalizować skalowalne potoki ETL/ELT oraz integrować dane z różnych źródeł. Będziesz pracować z platformami danych opartymi na Hadoop, Spark i Splunk, implementować rozwiązania w Pythonie i współpracować z zespołami BI i Analytics.

Wymagane jest doświadczenie w projektowaniu i utrzymaniu złożonych potoków danych, znajomość SQL/NoSQL, Git i CI/CD oraz umiejętność mentoringu zespołu.

Qualifications

• Doświadczenie w inżynierii danych w środowiskach korporacyjnych.

Responsibilities

• Projektowanie, rozwijanie i optymalizowanie skalowalnych potoków ETL/ELT.
• Zarządzanie procesami pobierania i transformacji danych (strukturalnych, semistrukturalnych i niestrukturalnych).
• Praca z platformami danych opartymi na Hadoop, Spark i Splunk.
• Tworzenie rozwiązań w Pythonie z dbałością o jakość, wydajność i utrzymanie.
• Współpraca z zespołami BI, Analytics i inżynierii w celu dostarczania niezawodnych rozwiązań danych.
• Wspieranie CI/CD i stosowanie dobrych praktyk inżynieryjnych, w tym kontrola źródeł i testy automatyczne.
• Zapewnienie odporności usługi, zgodności z governance i risk management.
• Diagnostyka i rozwiązywanie skomplikowanych problemów inżynieryjnych w produkcji.
• Mentorowanie młodszych inżynierów i dzielenie się wiedzą techniczną w zespole.
• Wnoszenie ulepszeń poprzez promowanie dobrych praktyk inżynieryjnych i nowych technologii.

Skills

Data engineering experience

Hadoop

Spark

Splunk

Python

SQL

NoSQL

Data modelling

CI/CD

Git

Analytical skills

Stakeholder management

Tools

Git

CI/CD pipelines

Job description

You will

• Design, develop and optimize scalable ETL/ELT data pipelines.
• Build and maintain data ingestion and transformation processes for structured, semi-structured and unstructured data.
• Work with enterprise data platforms based on Hadoop, Spark and Splunk.
• Develop data engineering solutions using Python while ensuring high quality, performance and maintainability.
• Collaborate closely with BI, Analytics and cross-functional engineering teams to deliver reliable data solutions.
• Support CI/CD implementation and follow software engineering best practices, including source control and automated testing.
• Ensure service resilience, sustainability, and compliance with governance and risk management standards.
• Troubleshoot and resolve complex data engineering challenges in production environments.
• Mentor junior engineers and share technical knowledge across the team.
• Contribute to continuous improvement by promoting engineering best practices and innovative technologies.

Kogo poszukujemy?

Must have

• Strong commercial experience as a Data Engineer in enterprise environments.
• Hands-on experience with Hadoop, Spark, and Splunk.
• Strong Python skills with experience building ETL/ELT pipelines.
• Experience with data modelling and designing scalable data pipelines.
• Experience working with SQL and NoSQL databases.
• Experience processing raw, structured, semi-structured and unstructured data.
• Good understanding of the complete data lifecycle, including ingestion, transformation and delivery.
• Experience with Git and CI/CD pipelines.
• Strong analytical and problem-solving skills.
• Experience collaborating with BI and Analytics teams.
• Ability to mentor less experienced engineers and provide technical guidance.
• Excellent communication and stakeholder management skills.
• Understanding of engineering governance, risk management, and compliance principles.

Nice to have

• Experience working in Agile environments (Scrum, Kanban).
• Experience leading technical initiatives or coordinating multiple engineering projects.
• Experience implementing automated unit and integration testing.
• Passion for coaching and supporting the professional development of other engineers.
• Experience working with external vendors and cross-functional stakeholders.