Data Engineer: Lakehouse & Streaming, Remote Work

RDP.RU; United States; A distancia; USD 150.000 - 210.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Remote work option

Competitive compensation

Descripción de la vacante

RDP.RU ищет опытного Data Engineer для разработки и внедрения сложных batch и streaming пайплайнов на Lakehouse-стеке. Ваша задача — участвовать в создании новой data-платформы с нуля, проектировать схемы хранения и оптимизировать Iceberg-таблицы, а также обеспечивать near-real-time обработку данных.

Требуется продвинутый опыт Spark, Flink, Kafka, Trino и Python/Java, а также знание S3-совместимых хранилищ и Parquet. Предлагается возможность удалённой работы и конкурентная компенсация.

Formación

• 5+ лет опыта в Data Engineering и развитые навыки построения batch и streaming пайплайнов.
• Эксперт в Spark и Flink, умение настраивать highload обработки.
• Глубокие знания SQL и оптимизация больших объемов данных.

Responsabilidades

• Проектирование и реализация сложных batch и streaming пайплайнов в Lakehouse-стеке.
• Участие в строении новой data-платформы с нуля.
• Проектирование схем хранения и оптимизация Iceberg-таблиц.
• Оптимизация Spark и Trino под highload и near-real-time требования.
• Разбор и устранение сложных инцидентов производительности.
• Внедрение практик Data Quality и проведение код-ревью.
• Менторинг инженеров данных.

Conocimientos

Spark (batch & streaming)

Flink

Python (PySpark)

Java

SQL optimization

Kafka

Trino

Iceberg/Delta Lake

Distributed storage (S3 or аналог)

Herramientas

Kubernetes

Parquet

Protobuf

GitOps

Descripción del empleo

RDP.RU ищет опытного Data Engineer для разработки и внедрения сложных batch и streaming пайплайнов на Lakehouse-стеке. Ваша задача — участвовать в создании новой data-платформы с нуля, проектировать схемы хранения и оптимизировать Iceberg-таблицы, а также обеспечивать near-real-time обработку данных.

Требуется продвинутый опыт Spark, Flink, Kafka, Trino и Python/Java, а также знание S3-совместимых хранилищ и Parquet. Предлагается возможность удалённой работы и конкурентная компенсация.