data engineer for scalable data pipelines

HireHi; United States; Remote; USD 110,000 - 160,000; Full time

Job summary

HireHi ищет инженера по данным для проектирования и реализации масштабируемых пайплайнов на Apache Spark (Databricks приветствуется). Вы будете писать эффективный PySpark код и разворачивать сложные SQL-запросы для извлечения и проверки данных.

Требуется 3+ года опыта в Data Software Engineering, знания pytest и Git. Рассматриваются кандидаты с англ. не ниже B2, готовность работать в команде и понимать процессы CI/CD.

Qualifications

• 3+ года опыта в разработке Data Software
• Опыт работы со Spark, предпочтительно в Databricks
• Умение работать с PySpark и SQL
• Опыт юнит-тестирования с pytest
• Знание принципов ETL и инженерии данных
• Опыт работы с системами контроля версий Git
• Уровень английского не ниже B2
• Желателен опыт работы в облачной среде (Azure/AWS/GCP) и знание CI/CD

Responsibilities

• Проектирование, разработка и сопровождение масштабируемых пайплайнов данных на Spark
• Написание эффективного PySpark-кода для трансформаций и обработки
• Разработка и выполнение сложных SQL-запросов для получения данных
• Руководство тестируемостью кода с pytest
• Сотрудничество с дата-учеными, аналитиками и инженерами
• Мониторинг и устранение неполадок в рабочих процессах
• Документирование технических дизайнов и лучших практик

Skills

Коммуникационные навыки

Командная работа

Проблемное мышление

Адаптивность

Tools

Apache Spark

Databricks

PySpark

SQL

pytest

Git

Delta Lake

MLflow

Job description

Описание:

No description

Задачи:

• Design, develop, and maintain scalable data pipelines using Apache Spark, with Databricks preferred


• Write efficient and optimized PySpark code for data transformation and processing


• Develop and execute complex SQL queries for data extraction, validation, and reporting


• Implement unit tests using pytest to ensure code reliability and maintainability


• Collaborate with data scientists, analysts, and other engineers to deliver high-quality data solutions


• Monitor and troubleshoot data workflows and performance issues


• Document technical designs, processes, and best practices

Требования:

• 3+ Years of experience in Data Software Engineering


• Proven experience with Apache Spark, ideally in a Databricks environment


• Proficiency in PySpark and SQL


• Background in unit testing frameworks, especially pytest


• Understanding of data engineering principles and ETL processes


• Familiarity with version control systems such as Git


• Ability to work independently and in a collaborative team setting


• Excellent problem-solving and communication skills


• English proficiency at Upper-Intermediate level (B2) or higher


• Nice to have: experience with cloud platforms such as Azure, AWS, or GCP, knowledge of CI/CD pipelines and DevOps practices, familiarity with Delta Lake, MLflow, or other Databricks-native tools

Условия:

No conditions specified