Senior Data Engineer: AI Pipelines (Spark/AWS)

EPAM Systems (Poland) sp. z o.o.; Warszawa; Hybrid; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Health insurance

Multisport

Employee stock purchase plan with 15%–

Job summary

EPAM Systems (Poland) sp. z o.o. poszukuje Senior Data Engineer’a do projektowania i utrzymania dużych potoków danych wspierających inicjatywy AI. Do obowiązków należy budowa systemów rozproszonych, praca nad architekturą AWS i modernymi platformami danych.

Wymagana jest silna znajomość Spark (Java/Scala), SQL oraz doświadczenie z architekturami lakehouse, a także umiejętność zapewnienia jakości danych i monitoringu. Praca w trybie hybrydowym, z możliwością pracy zdalnej w Polsce.

Qualifications

• 5+ lat doświadczenia w Data Engineering
• Doświadczenie w budowie i utrzymaniu dużych potoków danych i systemów przetwarzania rozproszonego
• Znajomość AI/ML, Generative AI lub platform danych wspierających AI
• Ekspertyza w AWS i architekturach cloud-native
• Zaawansowana znajomość SQL
• Umiejętność modelowania danych i architektur lakehouse
• Znajomość jakości danych, zarządzania i monitoringu
• Budowa bezpiecznych, skalowalnych i dostępnych rozwiązań danych
• Doświadczenie w ETL/ELT
• Znajomość angielskiego na poziomie B2 lub wyższym

Responsibilities

• Projektowanie, budowa i utrzymanie dużych potoków danych i systemów rozproszonych opartych o Spark
• Wsparcie i rozwijanie platform danych dla AI/ML i Generative AI
• Architektura rozwiązań w środowiskach AWS i wzorce cloud-native
• Budowa i optymalizacja procesów ETL/ELT dla analiz i operacyjnych przypadków użycia
• Implementacja strategii modelowania danych zgodnie z architekturami lakehouse
• Zapewnienie jakości danych, gobernance i monitoringu we wszystkich zasobach danych
• Dostarczanie bezpiecznych, skalowalnych i wysokodostępnych rozwiązań danych zgodnie z praktykami operacyjnymi
• Współpraca z zespołami międzyfunkcyjnymi wspierającymi inicjatywy AI
• Pisanie zaawansowanych zapytań SQL i kodu produkcyjnego w Java lub Scala

Skills

Data engineering

Spark (Java/Scala)

Gen AI/ML

AWS cloud

SQL

Data modeling

Data lakehouse

Data quality & governance

ETL/ELT development

English (B2)

Tools

Databricks

Snowflake

Job description

EPAM Systems (Poland) sp. z o.o. poszukuje Senior Data Engineer’a do projektowania i utrzymania dużych potoków danych wspierających inicjatywy AI. Do obowiązków należy budowa systemów rozproszonych, praca nad architekturą AWS i modernymi platformami danych.

Wymagana jest silna znajomość Spark (Java/Scala), SQL oraz doświadczenie z architekturami lakehouse, a także umiejętność zapewnienia jakości danych i monitoringu. Praca w trybie hybrydowym, z możliwością pracy zdalnej w Polsce.