Spark Data Engineer for Scalable Pipelines (Databricks)

HireHi; United States; Remote; USD 110,000 - 160,000; Full time

Job summary

HireHi ищет инженера по данным для проектирования и реализации масштабируемых пайплайнов на Apache Spark (Databricks приветствуется). Вы будете писать эффективный PySpark код и разворачивать сложные SQL-запросы для извлечения и проверки данных.

Требуется 3+ года опыта в Data Software Engineering, знания pytest и Git. Рассматриваются кандидаты с англ. не ниже B2, готовность работать в команде и понимать процессы CI/CD.

Qualifications

• 3+ года опыта в разработке Data Software
• Опыт работы со Spark, предпочтительно в Databricks
• Умение работать с PySpark и SQL
• Опыт юнит-тестирования с pytest
• Знание принципов ETL и инженерии данных
• Опыт работы с системами контроля версий Git
• Уровень английского не ниже B2
• Желателен опыт работы в облачной среде (Azure/AWS/GCP) и знание CI/CD

Responsibilities

• Проектирование, разработка и сопровождение масштабируемых пайплайнов данных на Spark
• Написание эффективного PySpark-кода для трансформаций и обработки
• Разработка и выполнение сложных SQL-запросов для получения данных
• Руководство тестируемостью кода с pytest
• Сотрудничество с дата-учеными, аналитиками и инженерами
• Мониторинг и устранение неполадок в рабочих процессах
• Документирование технических дизайнов и лучших практик

Skills

Коммуникационные навыки

Командная работа

Проблемное мышление

Адаптивность

Tools

Apache Spark

Databricks

PySpark

SQL

pytest

Git

Delta Lake

MLflow

Job description

HireHi ищет инженера по данным для проектирования и реализации масштабируемых пайплайнов на Apache Spark (Databricks приветствуется). Вы будете писать эффективный PySpark код и разворачивать сложные SQL-запросы для извлечения и проверки данных.

Требуется 3+ года опыта в Data Software Engineering, знания pytest и Git. Рассматриваются кандидаты с англ. не ниже B2, готовность работать в команде и понимать процессы CI/CD.