data engineer for scalable data pipelines

EPAM

United States

Sur place

USD 110 000 - 160 000

Plein temps

14 jours+

Une candidature complète en une minute

Un CV et une lettre de motivation personnalisés, prêts à envoyer.

Passez les filtres ATS

Résumé du poste

HireHi ищет инженера по данным для проектирования и реализации масштабируемых пайплайнов на Apache Spark (Databricks приветствуется). Вы будете писать эффективный PySpark код и разворачивать сложные SQL-запросы для извлечения и проверки данных.

Требуется 3+ года опыта в Data Software Engineering, знания pytest и Git. Рассматриваются кандидаты с англ. не ниже B2, готовность работать в команде и понимать процессы CI/CD.

Qualifications

  • 3+ года опыта в разработке Data Software
  • Опыт работы со Spark, предпочтительно в Databricks
  • Умение работать с PySpark и SQL
  • Опыт юнит-тестирования с pytest
  • Знание принципов ETL и инженерии данных
  • Опыт работы с системами контроля версий Git
  • Уровень английского не ниже B2
  • Желателен опыт работы в облачной среде (Azure/AWS/GCP) и знание CI/CD

Responsabilités

  • Проектирование, разработка и сопровождение масштабируемых пайплайнов данных на Spark
  • Написание эффективного PySpark-кода для трансформаций и обработки
  • Разработка и выполнение сложных SQL-запросов для получения данных
  • Руководство тестируемостью кода с pytest
  • Сотрудничество с дата-учеными, аналитиками и инженерами
  • Мониторинг и устранение неполадок в рабочих процессах
  • Документирование технических дизайнов и лучших практик

Connaissances

Коммуникационные навыки
Командная работа
Проблемное мышление
Адаптивность

Outils

Apache Spark
Databricks
PySpark
SQL
pytest
Git
Delta Lake
MLflow

Description du poste

Описание:

No description



Задачи:


  • Design, develop, and maintain scalable data pipelines using Apache Spark, with Databricks preferred

  • Write efficient and optimized PySpark code for data transformation and processing

  • Develop and execute complex SQL queries for data extraction, validation, and reporting

  • Implement unit tests using pytest to ensure code reliability and maintainability

  • Collaborate with data scientists, analysts, and other engineers to deliver high-quality data solutions

  • Monitor and troubleshoot data workflows and performance issues

  • Document technical designs, processes, and best practices



Требования:


  • 3+ Years of experience in Data Software Engineering

  • Proven experience with Apache Spark, ideally in a Databricks environment

  • Proficiency in PySpark and SQL

  • Background in unit testing frameworks, especially pytest

  • Understanding of data engineering principles and ETL processes

  • Familiarity with version control systems such as Git

  • Ability to work independently and in a collaborative team setting

  • Excellent problem-solving and communication skills

  • English proficiency at Upper-Intermediate level (B2) or higher

  • Nice to have: experience with cloud platforms such as Azure, AWS, or GCP, knowledge of CI/CD pipelines and DevOps practices, familiarity with Delta Lake, MLflow, or other Databricks-native tools



Условия:

No conditions specified

Obtenez votre examen gratuit et confidentiel de votre CV.

ou faites glisser et déposez votre fichier ici.

Similar jobs

Postes similaires à comparer

Data engineer
Data engineer

Luza Tecnologia • États-Unis

À distance
USD 110 000 - 160 000
Remote work
Food ticket
Health insurance
+5
Data engineer
Data engineer

emagine Group • États-Unis

À distance
USD 46 000 - 66 000
Data engineer
Data engineer

AgileEngine, LLC. • États-Unis

Hybride
USD 120 000 - 160 000
Mentorship program
Tech Talks
Growth roadmap
+1
Data Engineer (DATABRICKS / PYSPARK)
Data Engineer (DATABRICKS / PYSPARK)

Sigma Software • États-Unis

À distance
USD 90 000 - 130 000
Data Engineer
Data Engineer

Sigma Software • États-Unis

À distance
USD 120 000 - 180 000
data engineer in cloud data pipelines
data engineer in cloud data pipelines

NDA • États-Unis

Sur place
USD 110 000 - 160 000
Data engineer in financial services
Data engineer in financial services

Intellias • États-Unis

À distance
USD 140 000 - 210 000
Spark Data Engineer for Scalable Pipelines (Databricks)
Spark Data Engineer for Scalable Pipelines (Databricks)

EPAM • États-Unis

À distance
USD 110 000 - 160 000
Data engineer
Data engineer

Cloudfide • États-Unis

À distance
USD 120 000 - 180 000
E-learning budget
Ownership opportunities
Remote-first culture
Data engineer for SaaS products
Data engineer for SaaS products

Team • États-Unis

À distance
USD 120 000 - 190 000