Lead Data Engineer

GFT Technologies; Kraków; Hybrid; PLN 17,000 - 27,000; Full time

Benefits offered by this job

Hybrid work in Kraków 8 days a month

Benefit package: medical, sport, lunch

Online training and certifications

Access to e-learning platform

Social events

Job summary

GFT Technologies poszukuje doświadczonego lidera technicznego ds. danych do Krakowa. Będziesz prowadzić techniczną dostawę projektów migracji danych, projektować skalowalne potoki w GCP i wspierać zespół w ramach Agile. Wymagane co najmniej 10 lat doświadczenia w inżynierii danych i głębokie know-how w PySpark/Scala oraz GCP.

Oferujemy pracę hybrydową w Krakowie, pakiet benefitów i możliwości rozwoju zawodowego w międzynarodowym środowisku IT.

Qualifications

• Minimum 10 lat doświadczenia w projektowaniu oprogramowania i inżynierii danych.
• Silne doświadczenie w PySpark lub Scala.
• Doświadczenie z Google Cloud Platform i budową potoków danych w GCP.
• Doświadczenie z Apache Spark, Hadoop, Hive, ETL.
• Znajomość Python, SQL, PL/SQL i integracji danych.
• Doświadczenie z Apache Airflow lub podobnymi narzędziami harmonogramującymi.
• Znajomość REST APIs i usług RESTful.
• Silna znajomość Unix/Linux.
• Doświadczenie z Git, GitHub, Jenkins, Ansible i Jira.
• Umiejętność prowadzenia zespołu inżynierów i DBastosowanie technicznych.
• Dobra komunikacja i prezentacja dla technicznych i nietechnicznych odbiorców.
• Dobra znajomość języka angielskiego.

Responsibilities

• Prowadzenie technicznej dostawy projektów migracji danych i inżynierii.
• Projektowanie skalowalnych potoków danych w GCP przy użyciu PySpark/Scala.
• Mentorowanie inżynierów i prowadzenie pod-dopu technicznego.
• Zarządzanie środowiskami, architekturą systemów i wzorcami chmury.
• Wprowadzanie standardów kodowania, przeglądy kodu i dzielenie się wiedzą.
• Wspieranie środowisk produkcyjnych, diagnostyka i komunikacja wyników zespołom.
• Udział w planowaniu, sprintach i retrospektywach.
• Identyfikacja możliwości użycia narzędzi AI w workflowach inżynieryjnych.

Skills

Senior data engineer

GCP experience

PySpark/Scala

Cloud design patterns

REST APIs

Unix/Linux

CI/CD (Git/Jenkins)

English proficiency

Tools

GCP

Apache Spark

Airflow

Jira

GitHub

Jenkins

Ansible

Job description

Type of contract: Employment contract

Salary range: 17400-26700 PLN gross

What will you do?

You will lead the technical delivery of data migration and engineering initiatives, working closely with Engineers, Data Analysts and Business Analysts. You will design scalable data solutions in GCP, guide the engineering pod, promote development standards and support the team throughout the Agile development process.

Your tasks

• Provide technical leadership for data migration projects, including solution design, approach and estimation
• Design and develop scalable data pipelines using GCP, PySpark and Scala
• Provide guidance on environment setup, system architecture and cloud design patterns
• Implement solutions focused on performance, scalability, availability, accuracy and monitoring
• Promote coding standards, conduct code reviews and support knowledge sharing
• Mentor engineers and oversee the technical delivery of the engineering pod
• Work with Business Analysts to ensure requirements are correctly interpreted and implemented
• Support production environments, troubleshoot issues and communicate findings to development teams
• Participate in planning sessions, status meetings, sprint reviews and retrospectives
• Identify opportunities to use AI enablers to improve traditional engineering workflows

Your skills

• At least 10 years of experience in software design, data engineering and development in Agile and DevOps environments
• Strong development and solution design experience with PySpark or Scala
• Hands-on experience with Google Cloud Platform and building data pipelines in GCP
• Experience with Apache Spark, Spark SQL, Hadoop, YARN, Hive, MapReduce and ETL frameworks
• Experience with Python, SQL, PL/SQL and data integration
• Experience with Apache Airflow or similar scheduling tools
• Experience with REST APIs and RESTful services
• Strong knowledge of Unix and Linux environments
• Experience with Git, GitHub, Jenkins, Ansible and Jira
• Experience with automated testing, deployment and monitoring
• Understanding of cloud architecture and cloud design patterns
• Ability to lead an engineering pod and guide the work of other engineers
• Ability to work autonomously and act as a technical subject-matter expert
• Strong communication and presentation skills for technical, senior and non-technical audiences
• Strong written and spoken English

Nice to have

• Experience with Elasticsearch
• Experience developing Java APIs
• Experience with data ingestion solutions
• Experience working with Scrum and Kanban
• Interest in AI-based tools that can accelerate engineering workflows

We offer

• Hybrid work in our client's office (Kraków) 8 days a month
• Working in a highly experienced and dedicated team
• Benefit package tailored to your needs (medical, sport, lunch subsidy, life insurance, etc.)
• Online training and certifications
• Access to e-learning platform
• Social events