Data Quality Engineer — Remote, Scale Data Platform

2ГИС; United States; Remote; USD 21,000 - 43,000; Full time

Benefits offered by this job

ДМС и онлайн-консультации специалистов

Поддержка выступлений на конференциях

Доступ к внутреннему учебному центру

Job summary

2ГИС ищет Data Quality Engineer для ведения направления SMT: создание модели качества, инструментов и процессов, расширение на платформу. Ваша задача — внедрить требования к качеству данных, построить движок проверок и обеспечить наблюдаемость через дашборды.

Требуется опыт Data Engineer/Quality Engineer не менее 3 лет, знание Python и SQL на промышленном уровне, плюс работа с Spark и Airflow. Рассматриваем удалённую работу по РФ с офисами в рядах городов.

Qualifications

• Опыт работы Data Engineer/Quality Engineer 3+ лет.
• Python и SQL на уровне промышленной разработки.
• Работал с распределённой обработкой (Spark) и оркестрацией (Airflow).
• Знание DWH/Data Lake и витрин данных.

Responsibilities

• Спроектировать модель качества: метрики и SLO на датасеты.
• Определить уровни критичности и требования к проверкам и алертингу.
• Построить движок проверок и встроить в жизненный цикл данных SMT.
• Сгенерировать проверки из метаданных при создании/обновлении датасетов.
• Дать декларативный конфиг для сложных проверок: SQL или свой подход.

Skills

Python

SQL

Spark

Airflow

Data governance

Education

Опыт Data Engineer/Quality Engineer 3+ лет

Tools

OpenMetadata

DataHub

Great Expectations

Soda

dbt tests

Job description

2ГИС ищет Data Quality Engineer для ведения направления SMT: создание модели качества, инструментов и процессов, расширение на платформу. Ваша задача — внедрить требования к качеству данных, построить движок проверок и обеспечить наблюдаемость через дашборды.

Требуется опыт Data Engineer/Quality Engineer не менее 3 лет, знание Python и SQL на промышленном уровне, плюс работа с Spark и Airflow. Рассматриваем удалённую работу по РФ с офисами в рядах городов.