java/scala разработчик Data Lineage

Сбер; United States; Hybrid; USD 25,000 - 30,000; Full time

Job summary

Сбер предлагает участие в проекте Data Insight по построению Data Lineage: отслеживание потока данных от источника до точки применения на стеке Hadoop, Spark и Hive. Требуется уверенное владение Java Core, знание Scala и SQL, а также опыт с CI/CD и метаданными.

Условия: удалённая или гибридная работа в рамках РФ, аутстаффинг. Зарплата до 210 000 руб. на руки в месяц, с удалённой работой или гибридным форматом.

Qualifications

• Уверенно знать Java Core и иметь опыт от 3 лет.
• Уверенно знать Scala.
• Знать экосистему Hadoop, в частности Spark и Hive.
• Отлично знать SQL и уметь строить сложные запросы и оптимизировать их.
• Знать инструменты CI/CD и иметь опыт работы с ними.
• Будет плюсом: опыт работы с Apache Atlas, OpenLineage или другой системой управления метаданными.

Responsibilities

• Участвовать в PoC альтернативных решений для Apache Atlas.
• Разрабатывать компоненты для преобразования сообщений из формата Apache Atlas в OpenLineage.
• Интегрировать решение со стеком Hadoop, включая Spark и Hive, а также с реляционными БД.

Skills

Java Core

Scala

Hadoop/Spark/Hive

SQL

CI/CD Tools

Openlineage/Atlas

Tools

CI/CD Tools

Apache Atlas

OpenLineage

Job description

Описание

Сервис Data Insight предназначен для построения Data Lineage — отслеживания движения данных от источника до точки применения — на разных стеках: от традиционных РСУБД до Big Data.

Задачи

• Участвовать в PoC альтернативных решений для Apache Atlas
• Разрабатывать компоненты для преобразования сообщений из формата Apache Atlas в Openlineage
• Интегрировать решение со стеком Hadoop, включая Spark и Hive, а также с РСУБД
• Проверять корректность сбора и отображения Data Lineage на новом решении

Требования

• Уверенно знать Java Core, опыт работы — от 3 лет
• Уверенно знать Scala
• Знать экосистему Hadoop, в частности Spark и Hive
• Отлично знать SQL, уметь составлять сложные запросы и оптимизировать их
• Знать инструменты CI/CD и иметь опыт работы с ними
• Будет плюсом: опыт работы с Apache Atlas, Openlineage или другими инструментами управления метаданными, понимание принципов построения графовых структур данных

Условия

Ставка — до 210 000 руб. на руки в месяц Удалённый или гибридный формат работы Локация и гражданство: РФ Аутстаффинговая позиция