Data quality engineer

Медиалогия; United States; Hybrid; USD 15,000 - 21,000; Full time

Benefits offered by this job

ДМС после испытательного срока

Скидки партнёров (фитнес‑центры, курсы

Бесплатное онлайн-обучение на портале

Корпоративная библиотека

Job summary

Медиалогия ищет специалиста по обеспечению качества данных для разработки и поддержки автоматизированных процессов проверки данных в реальном времени. Вы будете работать с командами Data Engineers, Data Scientists и бизнес-заказчиками, чтобы переводить требования в технические проверки.

Ключевые задачи включают профилирование данных, расследование инцидентов и настройку мониторинга качества данных. Готовность строить масштабируемые пайплайны и работать в гибридном формате приветствуется.

Qualifications

• 2–3 года опыта в Data Engineering, Data QA или Data Quality
• Продвинутый SQL: сложные запросы, оконные функции, оптимизация
• Python: скрипты для автоматизации проверок, работа с Pandas/PySpark
• Опыт работы с современными фреймворками для проверки данных: Great Expectations, dbt tests, Soda, Monte Carlo
• Понимание архитектуры данных: DWH, Data Lake, Data Mesh; опыт с ClickHouse, PostgreSQL, Hive
• Знание оркестрации и ETL: Airflow, Prefect; трансформации dbt, Spark
• Знание метрик качества данных и концепций DataOps/Data Governance

Responsibilities

• Проектирование и внедрение DQ-фреймворков: разработка и поддержка автоматизированных процессов и инструментов для проверки качества данных на всех этапах жизненного цикла
• Автоматизация тестирования данных: написание unit- и integration-тестов для ETL/ELT пайплайнов, витрин данных и источников
• Взаимодействие с командами: плотная работа с Data Engineers, Data Scientists, аналитиками и бизнес-заказчиками для сбора требований к качеству данных
• Профилирование сырых и целевых данных для выявления скрытых закономерностей, дубликатов, пропусков и несоответствий бизнес-логике
• Расследование инцидентов: оперативное реагирование на проблемы с данными, поиск корневых причин и предотвращение повторения
• Настройка мониторинга и алертинга качества данных, создание дашбордов с метриками и настройка алертов при аномалиях

Skills

SQL

Python

Data QA

Tools

Great Expectations

dbt tests

Soda

Monte Carlo

Pandas

PySpark

ClickHouse

PostgreSQL

Hive

Airflow

Prefect

Spark

Job description

Описание:

Медиалогия занимается разработкой продуктов по сбору и анализу данных из СМИ и соцмедиа. Мы разрабатываем высоконагруженные системы, которые в режиме реального времени сканируют весь текстовый сегмент Интернета (100+ млн. сообщений в сутки, 1.7 млрд. метрик) и, используя уникальные лингвистические технологии, позволяют осуществлять мгновенный анализ упоминаний наших клиентов в социальных сетях, блогах, форумах и управлять их репутацией.

Задачи:

• проектирование и внедрение DQ-фреймворков: разработка и поддержка автоматизированных процессов и инструментов для проверки качества данных (Data Quality) на всех этапах жизненного цикла
• автоматизация тестирования данных: написание unit- и integration-тестов для ETL/ELT пайплайнов, витрин данных и источников
• взаимодействие с командами: плотная работа с Data Engineers, Data Scientists, аналитиками и бизнес-заказчиками для сбора требований к качеству данных и перевода бизнес-правил в технические проверки
• профилирование сырых и целевых данных для выявления скрытых закономерностей, дубликатов, пропусков и несоответствий бизнес-логике
• расследование инцидентов: оперативное реагирование на проблемы с данными, поиск корневых причин (Root Cause Analysis), устранение инцидентов и предотвращение их повторения
• настройка мониторинга и алертинга качества данных, создание дашбордов с метриками (Data Quality Dashboards) и настройка алертов при возникновении аномалий или отклонений

Требования:

• опыт работы от 2-3 лет в сфере Data Engineering, Data QA или непосредственно Data Quality
• отличное знание SQL (написание сложных запросов, оконные функции, CTE, умение оптимизировать запросы для больших объемов данных)
• языки программирования: знание Python (написание скриптов для автоматизации проверок, работа с библиотеками Pandas, PySpark или аналогами)
• опыт работы с современными фреймворками для проверки данных (Great Expectations, dbt tests, Soda, Monte Carlo или написание кастомных решений)
• понимание архитектуры данных: знание принципов построения хранилищ данных (DWH, Data Lake, Data Mesh) и опыт работы с современными СУБД (ClickHouse, PostgreSQL), Hive
• желательно оркестрация и ETL: понимание того, как работают пайплайны данных, опыт работы с оркестраторами (Airflow, Prefect) и инструментами трансформации (dbt, Spark)
• владение теорией качества данных: понимание метрик качества данных (полнота, уникальность, консистентность, своевременность, валидность, точность) и концепций DataOps / Data Governance

Условия:

• удаленный или гибридный формат работы
• заработная плата обсуждается по итогам собеседования с успешным кандидатом
• ДМС после испытательного срока
• специальные условия для сотрудников на страхование для членов семьи
• скидки в компаниях-партнерах (фитнес-центры, обучающие курсы, изучение иностранных языков и многое другое)
• бесплатное онлайн-обучение на корпоративном портале и корпоративная библиотека
• интересные проекты и возможность влиять на технологический стек
• офис в пешей доступности от ст. м. Дмитровская (БЦ «Савеловский Сити»).