Data Orchestration Engineer (DAG Pipelines)

Wayve; Greater London; Hybrid; GBP 90,000 - 130,000; Full time

Benefits offered by this job

Hybrid work model

Equity/Stock options

Relocation support

Learning & development budgets

Health insurance

Job summary

Wayve ищет инженера по данным в Лондоне для эволюции платформы конвейеров данных и оркестрации. Ваша работа охватит переработку Harness и создание новой DAG-ориентированной системы для обработки больших объемов данных автономного вождения.

Работа предполагает работу в гибридном формате, взаимодействие с командами и партнерскими подразделениями, участие в разработке инструментов и оптимизации производительности инфраструктуры. Опыт с Kafka и крупномасштабными данными приветствуется.

Qualifications

• Разработка и поддержка production-grade систем.
• Профессиональные навыки Python.
• Опыт работы с крупномасштабными распределенными системами и данными.
• Практики тестирования: модульное/интеграционное, TDD, data-driven development.
• Знание Apache Kafka.
• Знание баз данных и хранилищ данных (Postgres, ClickHouse).
• Опыт инфраструктуры ML и пакетной обработки.
• Опыт с Ray, Flyte или Spark.
• Умение превращать требования партнеров в масштабируемые решения.
• Готовность к межкомандному сотрудничеству.

Responsibilities

• Проектирование и развитие масштабируемой конвейерной инфраструктуры данных.
• Обновление Harness и создание DAG-основанной системы оркестрации.
• Разработка инструментов для упрощения ingest/processing/inference.
• Обеспечение параллельной работы сотен задач и корректности выходных данных.
• Поддержка пакетной инференции и масштабируемой оценки.
• Улучшение надёжности платформы и процессов инцидент-менеджмента.

Skills

Software engineering

Python

Distributed systems

Testing practices

Kafka

Data platforms

ML infra

Batch processing

Scheduling/resources

Tools

Ray

Flyte

Spark

Postgres

ClickHouse

Job description

Wayve ищет инженера по данным в Лондоне для эволюции платформы конвейеров данных и оркестрации. Ваша работа охватит переработку Harness и создание новой DAG-ориентированной системы для обработки больших объемов данных автономного вождения.

Работа предполагает работу в гибридном формате, взаимодействие с командами и партнерскими подразделениями, участие в разработке инструментов и оптимизации производительности инфраструктуры. Опыт с Kafka и крупномасштабными данными приветствуется.