Data Lineage Engineer — Java/Scala (Remote or Hybrid)

Сбер; United States; Hybrid; USD 25,000 - 30,000; Full time

Job summary

Сбер предлагает участие в проекте Data Insight по построению Data Lineage: отслеживание потока данных от источника до точки применения на стеке Hadoop, Spark и Hive. Требуется уверенное владение Java Core, знание Scala и SQL, а также опыт с CI/CD и метаданными.

Условия: удалённая или гибридная работа в рамках РФ, аутстаффинг. Зарплата до 210 000 руб. на руки в месяц, с удалённой работой или гибридным форматом.

Qualifications

• Уверенно знать Java Core и иметь опыт от 3 лет.
• Уверенно знать Scala.
• Знать экосистему Hadoop, в частности Spark и Hive.
• Отлично знать SQL и уметь строить сложные запросы и оптимизировать их.
• Знать инструменты CI/CD и иметь опыт работы с ними.
• Будет плюсом: опыт работы с Apache Atlas, OpenLineage или другой системой управления метаданными.

Responsibilities

• Участвовать в PoC альтернативных решений для Apache Atlas.
• Разрабатывать компоненты для преобразования сообщений из формата Apache Atlas в OpenLineage.
• Интегрировать решение со стеком Hadoop, включая Spark и Hive, а также с реляционными БД.

Skills

Java Core

Scala

Hadoop/Spark/Hive

SQL

CI/CD Tools

Openlineage/Atlas

Tools

CI/CD Tools

Apache Atlas

OpenLineage

Job description

Сбер предлагает участие в проекте Data Insight по построению Data Lineage: отслеживание потока данных от источника до точки применения на стеке Hadoop, Spark и Hive. Требуется уверенное владение Java Core, знание Scala и SQL, а также опыт с CI/CD и метаданными.

Условия: удалённая или гибридная работа в рамках РФ, аутстаффинг. Зарплата до 210 000 руб. на руки в месяц, с удалённой работой или гибридным форматом.