Senior / Lead Data Software Engineer (Python, Spark, Azure)

EPAM Systems (Poland) sp. z o.o.; Wrocław; On-site; PLN 240,000 - 360,000; Full time

Benefits offered by this job

Ubezpieczenie zdrowotne

Tryb pracy hybrydowy

Praca zdalna na terenie Polski

Możliwość wyjazdów służbowych do 60 dn

Job summary

EPAM Systems (Poland) sp. z o.o. poszukuje Senior/Lead Data Software Engineera do pracy nad skalowalną platformą ML-ready, z silnym aspektem governance danych i migracją do Azure Databricks.

Będziesz kluczowym ogniwem w migracji z IaaS do chmurowych usług Databricks, optymalizując przepływy danych i jakość danych. Dołączysz do zespołu wdrażającego GenAI w przepływach danych, współpracując z zespołami ds. regulacji i zapewnienia zgodności.

Qualifications

• Minimum 3 lata doświadczenia w data engineering
• Doświadczenie z Azure Databricks i PySpark
• Projektowanie i implementacja ETL/ELT
• Migracja dużych platform danych do usług Azure
• Znajomość Delta tables
• Zarządzanie danymi zgodnie z regulacjami
• Znajomość Docker/Kubernetes (AKS) i Terraform
• Obsługa dużych wolumenów danych
• Doskonałe umiejętności analityczne
• Silne umiejętności komunikacyjne i współpracy
• Angielski na poziomie B2 lub wyżej

Responsibilities

• Migracja i optymalizacja ponad 500 zadań danych przy użyciu technik optymalizacji Azure Databricks
• Zarządzanie i przetwarzanie 12 TB danych między platformami
• Dostrajanie modeli ML dla środowisk Azure z użyciem Java Spark i Delta tables
• Aktualizacja i utrzymanie bibliotek w celu usunięcia podatności
• Tworzenie i utrzymanie potoków ETL/ELT przy użyciu PySpark
• Współpraca z zespołami w celu integracji GenAI w przepływy danych
• Monitorowanie jakości danych i wprowadzanie ulepszeń
• Automatyzacja wdrożeń i zadań operacyjnych za pomocą Terraform i GitLab CI/CD
• Wspieranie inicjatyw związanych z zarządzaniem danymi zgodnie z regulacjami
• Rozwiązywanie problemów z wydajnością systemów przetwarzania danych
• Dokumentowanie procesów systemowych i mentoring młodszych inżynierów
• Wdrażanie najlepszych praktyk jakości kodu i bezpieczeństwa danych
• Udział w przeglądach kodu i sesjach wymiany wiedzy
• Optymalizacja kosztów przechowywania i przetwarzania danych

Skills

Python

Spark

Azure Databricks

PySpark

ETL/ELT design

Big data migration

Delta tables

Data governance

Docker/Kubernetes

Terraform

English (B2)

Tools

Docker

Kubernetes (AKS)

Terraform

Job description

Nasze wymagania:

• Proficiency in Python and Spark with at least 3 years in data engineering roles
• Strong experience with Azure Databricks and PySpark
• Proven expertise in designing and implementing ETL/ELT solutions
• Experience migrating big data platforms to Azure-native services
• Proficiency with Delta tables for model tuning
• Knowledge of data governance and regulatory compliance frameworks
• Familiarity with Docker, Kubernetes (AKS), and Terraform for infrastructure automation
• Ability to manage large data volumes with high efficiency
• Excellent problem-solving and analytical skills
• Strong communication and collaboration abilities
• English proficiency at B2 level or higher

O projekcie:

We are seeking a Senior/Lead Data Software Engineer to join our team working on a scalable, ML-ready platform that enhances portfolio model development and deployment with advanced data governance and AI capabilities. You will play a key role in migrating from an IaaS Big Data platform to Azure-native Databricks, optimizing data workflows and improving data quality. Join us to contribute to innovative solutions that boost client services and regulatory compliance.

Zakres obowiązków:

• Migrate and optimize over 500 data jobs using Azure Databricks optimization techniques
• Manage and process 12 TB of data efficiently across platforms
• Tune machine learning models for Azure environments using Java Spark and Delta tables
• Update and maintain libraries to address security vulnerabilities
• Develop and maintain ETL/ELT pipelines using PySpark and related technologies
• Collaborate with cross-functional teams to integrate GenAI capabilities into data workflows
• Monitor data quality and implement improvements to ensure accuracy and reliability
• Automate deployment and operational tasks using Terraform and GitLab CI/CD
• Support data governance initiatives to comply with regulatory standards
• Troubleshoot and resolve performance issues in data processing systems
• Document system processes and provide technical guidance to junior engineers
• Implement best practices for code quality and data security
• Participate in code reviews and knowledge sharing sessions
• Optimize costs associated with data storage and processing

Oferujemy:

We gather like-minded people:

• Top tech minds driving innovation in AI, cloud and digital platform modernization
• Supportive team and agile, startup-like culture
• Hybrid by design mode and opportunity to work remotely within Poland
• Chance to work abroad for up to 60 days annually
• Business-driven relocation opportunities

We provide growth opportunities:

• Career development programs
• Thought leadership, mentoring, soft skills and well-being programs
• Certification (Anthropic, Gemini, GCP, Azure, AWS)
• English classes

We cover it all:

• Stable pay
• Participation in the Employee Stock Purchase Plan with a 15% discount
• Benefits package (health insurance, multisport, shopping vouchers)
• Referral bonuses up to $2,000
• Offices featuring entertainment and relaxation zones, table tennis and football, free snacks, coffee and more
• Corporate, social and well-being events

Please, note:

• Benefits listed above are available to employees only
• We are open for working with Contractors. Terms of B2B cooperation agreements are agreed individually
• We will reach out to selected candidates exclusively