Remote Data Engineer: Vehicle Telemetry on Azure Databricks

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

HireHi ищет опытного инженера по данным для проекта по сбору и анализу телеметрии транспортных средств в рамках глобальной платформы на Azure Databricks. Платформа работает на масштабe по регионам Европа, Северная Америка и Китай, с удаленной работой.

В кандидате приветствуются 3+ года опыта, глубокие знания Azure Databricks, PySpark и Python, умение работать с мониторингом, observability и оптимизацией затрат в облаке. Английский не ниже B2.

Qualifications

• 3+ года hands-on опыта в data engineering.
• Опыт работы с Azure Databricks и PySpark.
• Умение разбирать и оптимизировать большие Spark-работы.

Responsibilities

• Мониторинг состояния, стабильности и производительности production data platform.
• Расследование проблем производительности и инцидентов.
• Анализ нагрузок Databricks и поиск бутылочных мест.
• Оптимизация PySpark и Databricks задач по производительности, надежности и затратам.
• Обслуживание примерно 200 существующих Databricks задач и пайплайнов.
• Подготовка платформы к росту объёмов данных и рабочих нагрузок.
• Разработка масштабируемых стратегий с фокусом на предсказуемые инфраструктурные расходы.
• Мониторинг потребления Databricks и Azure ресурсов.

Skills

Azure Databricks

PySpark

Python

Distributed data processing

Performance optimization

Cloud cost optimization

Monitoring & observability

GitHub Actions

English (B2+)

Tools

GitHub Actions

Job description

HireHi ищет опытного инженера по данным для проекта по сбору и анализу телеметрии транспортных средств в рамках глобальной платформы на Azure Databricks. Платформа работает на масштабe по регионам Европа, Северная Америка и Китай, с удаленной работой.

В кандидате приветствуются 3+ года опыта, глубокие знания Azure Databricks, PySpark и Python, умение работать с мониторингом, observability и оптимизацией затрат в облаке. Английский не ниже B2.