Data quality engineer

2ГИС; United States; Remote; USD 21,000 - 43,000; Full time

Benefits offered by this job

ДМС и онлайн-консультации специалистов

Поддержка выступлений на конференциях

Доступ к внутреннему учебному центру

Job summary

2ГИС ищет Data Quality Engineer для ведения направления SMT: создание модели качества, инструментов и процессов, расширение на платформу. Ваша задача — внедрить требования к качеству данных, построить движок проверок и обеспечить наблюдаемость через дашборды.

Требуется опыт Data Engineer/Quality Engineer не менее 3 лет, знание Python и SQL на промышленном уровне, плюс работа с Spark и Airflow. Рассматриваем удалённую работу по РФ с офисами в рядах городов.

Qualifications

• Опыт работы Data Engineer/Quality Engineer 3+ лет.
• Python и SQL на уровне промышленной разработки.
• Работал с распределённой обработкой (Spark) и оркестрацией (Airflow).
• Знание DWH/Data Lake и витрин данных.

Responsibilities

• Спроектировать модель качества: метрики и SLO на датасеты.
• Определить уровни критичности и требования к проверкам и алертингу.
• Построить движок проверок и встроить в жизненный цикл данных SMT.
• Сгенерировать проверки из метаданных при создании/обновлении датасетов.
• Дать декларативный конфиг для сложных проверок: SQL или свой подход.

Skills

Python

SQL

Spark

Airflow

Data governance

Education

Опыт Data Engineer/Quality Engineer 3+ лет

Tools

OpenMetadata

DataHub

Great Expectations

Soda

dbt tests

Job description

Описание

Мы строим корпоративную дата-платформу нового поколения единый self-service путь от источника до витрины. Чем больше пользователей самостоятельно создают пайплайны и витрины, тем важнее встроить качество в саму платформу, а не проверять данные вручную в конце. Сейчас в SMT есть ручные проверки и автоматические API-тесты, но нет единой сквозной системы. Ищем Data Quality Engineer, который станет техническим владельцем направления в SMT: построит модель, инструменты и процессы, а затем поможет масштабировать их на всю платформу.

Задачи

• Спроектировать модель качества: измерения, метрики и SLO на датасеты.
• Определить уровни критичности и пропорциональные требования к проверкам, алертингу и реакции на нарушения.
• Построить движок проверок и встроить его в жизненный цикл данных: сначала в трансформации и витрины SMT, затем масштабировать на остальные части платформы.
• Сделать базовые проверки автоматическими: генерировать их из метаданных при создании и обновлении датасетов.
• Дать пользователям язык для сложных проверок декларативный конфиг, SQL-правила или собственный подход. Выбор за тобой.
• Реализовать quality gates: карантин, блокировку публикации, остановку пайплайна, fallback или откат там, где это возможно.
• Настроить наблюдаемость: адресный алертинг, дашборды состояния датасетов, health-score, контроль ложных срабатываний и разбор причин.
• Использовать lineage из OpenMetadata для impact-анализа и вместе с Data Governance развивать data contracts: сначала в SMT, затем на границе с источниками.
• Сделать проверки частью инженерного цикла: версионировать их как код, проводить ревью и доставлять через CI/CD.
• Поддержать миграцию существующих процессов на платформу: построить сверку старого и нового контуров и доказательно подтверждать совпадение цифр.
• Совместно с Data Governance и владельцами данных задавать стандарты покрытия и ревью.
• Помогать инженерам применять инструменты, а не писать все проверки за них.
• Работать с аналитиками как с пользователями: разбираться, где им больно, и делать инструмент, которым пользуются добровольно.

Требования

• Имеешь опыт работы в роли Data Engineer или Data Quality Engineer от 3-х лет.
• Хорошо владеешь Python и SQL на уровне промышленной разработки, а не скриптов.
• Работал с распределённой обработкой: Spark, большие объёмы, понимание, где у обработки узкие места и сколько стоит лишний скан.
• Знаком с оркестрацией (Airflow или аналоги) и умеешь встраивать логику в пайплайны, а не рядом с ними.
• Разбираешься в дата-инфраструктуре: DWH и Data Lake, слои, модели данных, витрины.
• Имеешь опыт с инструментами качества данных Great Expectations, Soda, Deequ, dbt tests, Elementary или собственными решениями. Или строил такое сам.
• Понимаешь статистику на практическом уровне: умеешь отличить аномалию от сезонности и не завалить команду ложными алертами.
• Мыслишь продуктово: внутренний инструмент нужен не для галочки, а чтобы им пользовались.
• Умеешь договариваться и влиять без формальных полномочий: качество данных это всегда разговор с владельцами источников, инженерами и потребителями.
• Будет плюсом: Опыт построения self-service инструментов для аналитиков или разработчиков.
• Будет плюсом: Работа с открытыми табличными форматами.
• Будет плюсом: Опыт с каталогами данных: OpenMetadata, DataHub.
• Будет плюсом: Data Contracts и Data Lineage на практике.
• Будет плюсом: Anomaly detection на метриках данных, в том числе ML-подходы.
• Будет плюсом: Опыт сверки данных при миграции хранилищ.
• Будет плюсом: Опыт публичных выступлений и работы с инженерным брендом.

Условия

• Официальное трудоустройство и полностью белую заработную плату.
• Можно работать удаленно по РФ.
• Хочешь гибридный формат? У нас есть офисы в Москве, Санкт-Петербурге, два — в Новосибирске.
• ДМС и онлайн-консультации специалистов.
• Поддержку выступлений на конференциях и подготовки публикаций.
• Доступ к внутреннему учебному центру: курсам, тренингам и профессиональной литературе.