data engineer for ML modeling teams

EPAM; Deutschland; On-site; EUR 70,000 - 95,000; Full time

Job summary

Enfint ищет инженера по данным для поддержки команды инженеров данных, работающей над конвейерами, использующими ML и MLOps. Ваша задача — развивать, оптимизировать и поддерживать преобразование данных в Databricks с использованием PySpark. Будете работать с данными в ADLS Gen2 и SAP HANA Data Lake (Delta/Parquet).

Важны навыки проверки качества данных, валидации схем, дедупликации и тегирования. Также потребуется коммуникация со стейкхолдерами и настройка производительности на больших наборах

Qualifications

• 3+ года опыта в data engineering; владение Python, PySpark и Databricks.
• Опыт работы с Delta Lake и Azure data lake технологиями.
• Знание систем контроля версий Git/GitHub и CI/CD (GitHub Actions).
• Знакомство с обработкой больших данных и качеством данных.

Responsibilities

• Поддержка команды data engineers в построении пайплайнов в ML/ MLOps.
• Разработка, оптимизация и поддержка преобразования данных в Databricks с PySpark.
• Работа с данными в ADLS Gen2 и SAP HANA Data Lake (Delta/Parquet).
• Реализация и контроль качества данных: валидация схем, дедупликация, enrichment и tagging.
• Коммуникация со стейкхолдерами по бизнес-процессам и входным данным.
• Оптимизация производительности на больших наборах данных.

Skills

Python

PySpark

Databricks

CI/CD

English (B2+)

Tools

GitHub

Git

GitHub Actions

Delta Lake

Azure Data Lake

Job description

Описание: EPAM builds enterprise software products, open source solutions, accelerators, and data products for ML modeling teams.

Задачи

• Support a team of data engineers building pipelines used by MLOps and ML Engineers on ML modeling teams;
• Develop, optimize, and maintain data transformation pipelines in Databricks using PySpark;
• Work with data stored in ADLS Gen2 and SAP HANA Data Lake, primarily in Delta/Parquet format;
• Implement and maintain data quality checks, including schema validation, deduplication, enrichment, and tagging;
• Communicate with stakeholders to understand business processes and model input data;
• Tune performance for large-scale datasets to ensure efficient processing.

Требования

• 3+ Years of experience in data engineering with proficiency in Python, PySpark, and Databricks;
• Hands-on experience with Delta Lake and Azure data lake technologies;
• Familiarity with software version control tools such as GitHub and Git;
• Experience with CI/CD frameworks such as GitHub Actions;
• Knowledge of data lake technologies and large-scale dataset performance tuning;
• Proficiency in English at B2+ level;
• Nice to have: familiarity with at least one other programming or scripting language, such as Java, SQL, or Scala.

Условия

Remote work in Kazakhstan.