Spark Data Engineer for Scalable Pipelines (Databricks)

EPAM

United States

Remote

USD 110,000 - 160,000

Full time

14 days+

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

HireHi ищет инженера по данным для проектирования и реализации масштабируемых пайплайнов на Apache Spark (Databricks приветствуется). Вы будете писать эффективный PySpark код и разворачивать сложные SQL-запросы для извлечения и проверки данных.

Требуется 3+ года опыта в Data Software Engineering, знания pytest и Git. Рассматриваются кандидаты с англ. не ниже B2, готовность работать в команде и понимать процессы CI/CD.

Qualifications

  • 3+ года опыта в разработке Data Software
  • Опыт работы со Spark, предпочтительно в Databricks
  • Умение работать с PySpark и SQL
  • Опыт юнит-тестирования с pytest
  • Знание принципов ETL и инженерии данных
  • Опыт работы с системами контроля версий Git
  • Уровень английского не ниже B2
  • Желателен опыт работы в облачной среде (Azure/AWS/GCP) и знание CI/CD

Responsibilities

  • Проектирование, разработка и сопровождение масштабируемых пайплайнов данных на Spark
  • Написание эффективного PySpark-кода для трансформаций и обработки
  • Разработка и выполнение сложных SQL-запросов для получения данных
  • Руководство тестируемостью кода с pytest
  • Сотрудничество с дата-учеными, аналитиками и инженерами
  • Мониторинг и устранение неполадок в рабочих процессах
  • Документирование технических дизайнов и лучших практик

Skills

Коммуникационные навыки
Командная работа
Проблемное мышление
Адаптивность

Tools

Apache Spark
Databricks
PySpark
SQL
pytest
Git
Delta Lake
MLflow

Job description

HireHi ищет инженера по данным для проектирования и реализации масштабируемых пайплайнов на Apache Spark (Databricks приветствуется). Вы будете писать эффективный PySpark код и разворачивать сложные SQL-запросы для извлечения и проверки данных.

Требуется 3+ года опыта в Data Software Engineering, знания pytest и Git. Рассматриваются кандидаты с англ. не ниже B2, готовность работать в команде и понимать процессы CI/CD.

Get your free, confidential resume review.

or drag and drop your file here.