Senior/Lead Data Software Engineer – Azure Databricks

EPAM Systems (Poland) sp. z o.o.; Wrocław; Hybrid; PLN 240,000 - 360,000; Full time

Benefits offered by this job

Ubezpieczenie zdrowotne

Tryb pracy hybrydowy

Praca zdalna na terenie Polski

Możliwość wyjazdów służbowych do 60 dn

Job summary

EPAM Systems (Poland) sp. z o.o. poszukuje Senior/Lead Data Software Engineera do pracy nad skalowalną platformą ML-ready, z silnym aspektem governance danych i migracją do Azure Databricks.

Będziesz kluczowym ogniwem w migracji z IaaS do chmurowych usług Databricks, optymalizując przepływy danych i jakość danych. Dołączysz do zespołu wdrażającego GenAI w przepływach danych, współpracując z zespołami ds. regulacji i zapewnienia zgodności.

Qualifications

• Minimum 3 lata doświadczenia w data engineering
• Doświadczenie z Azure Databricks i PySpark
• Projektowanie i implementacja ETL/ELT
• Migracja dużych platform danych do usług Azure
• Znajomość Delta tables
• Zarządzanie danymi zgodnie z regulacjami
• Znajomość Docker/Kubernetes (AKS) i Terraform
• Obsługa dużych wolumenów danych
• Doskonałe umiejętności analityczne
• Silne umiejętności komunikacyjne i współpracy
• Angielski na poziomie B2 lub wyżej

Responsibilities

• Migracja i optymalizacja ponad 500 zadań danych przy użyciu technik optymalizacji Azure Databricks
• Zarządzanie i przetwarzanie 12 TB danych między platformami
• Dostrajanie modeli ML dla środowisk Azure z użyciem Java Spark i Delta tables
• Aktualizacja i utrzymanie bibliotek w celu usunięcia podatności
• Tworzenie i utrzymanie potoków ETL/ELT przy użyciu PySpark
• Współpraca z zespołami w celu integracji GenAI w przepływy danych
• Monitorowanie jakości danych i wprowadzanie ulepszeń
• Automatyzacja wdrożeń i zadań operacyjnych za pomocą Terraform i GitLab CI/CD
• Wspieranie inicjatyw związanych z zarządzaniem danymi zgodnie z regulacjami
• Rozwiązywanie problemów z wydajnością systemów przetwarzania danych
• Dokumentowanie procesów systemowych i mentoring młodszych inżynierów
• Wdrażanie najlepszych praktyk jakości kodu i bezpieczeństwa danych
• Udział w przeglądach kodu i sesjach wymiany wiedzy
• Optymalizacja kosztów przechowywania i przetwarzania danych

Skills

Python

Spark

Azure Databricks

PySpark

ETL/ELT design

Big data migration

Delta tables

Data governance

Docker/Kubernetes

Terraform

English (B2)

Tools

Docker

Kubernetes (AKS)

Terraform

Job description

EPAM Systems (Poland) sp. z o.o. poszukuje Senior/Lead Data Software Engineera do pracy nad skalowalną platformą ML-ready, z silnym aspektem governance danych i migracją do Azure Databricks.

Będziesz kluczowym ogniwem w migracji z IaaS do chmurowych usług Databricks, optymalizując przepływy danych i jakość danych. Dołączysz do zespołu wdrażającego GenAI w przepływach danych, współpracując z zespołami ds. regulacji i zapewnienia zgodności.