Data Quality Engineer — Remote/Hybrid, DQ Dashboards

Medialogia; United States; Hybrid; USD 15,000 - 21,000; Full time

Benefits offered by this job

ДМС после испытательного срока

Скидки партнёров (фитнес‑центры, курсы

Бесплатное онлайн-обучение на портале

Корпоративная библиотека

Job summary

Медиалогия ищет специалиста по обеспечению качества данных для разработки и поддержки автоматизированных процессов проверки данных в реальном времени. Вы будете работать с командами Data Engineers, Data Scientists и бизнес-заказчиками, чтобы переводить требования в технические проверки.

Ключевые задачи включают профилирование данных, расследование инцидентов и настройку мониторинга качества данных. Готовность строить масштабируемые пайплайны и работать в гибридном формате приветствуется.

Qualifications

• 2–3 года опыта в Data Engineering, Data QA или Data Quality
• Продвинутый SQL: сложные запросы, оконные функции, оптимизация
• Python: скрипты для автоматизации проверок, работа с Pandas/PySpark
• Опыт работы с современными фреймворками для проверки данных: Great Expectations, dbt tests, Soda, Monte Carlo
• Понимание архитектуры данных: DWH, Data Lake, Data Mesh; опыт с ClickHouse, PostgreSQL, Hive
• Знание оркестрации и ETL: Airflow, Prefect; трансформации dbt, Spark
• Знание метрик качества данных и концепций DataOps/Data Governance

Responsibilities

• Проектирование и внедрение DQ-фреймворков: разработка и поддержка автоматизированных процессов и инструментов для проверки качества данных на всех этапах жизненного цикла
• Автоматизация тестирования данных: написание unit- и integration-тестов для ETL/ELT пайплайнов, витрин данных и источников
• Взаимодействие с командами: плотная работа с Data Engineers, Data Scientists, аналитиками и бизнес-заказчиками для сбора требований к качеству данных
• Профилирование сырых и целевых данных для выявления скрытых закономерностей, дубликатов, пропусков и несоответствий бизнес-логике
• Расследование инцидентов: оперативное реагирование на проблемы с данными, поиск корневых причин и предотвращение повторения
• Настройка мониторинга и алертинга качества данных, создание дашбордов с метриками и настройка алертов при аномалиях

Skills

SQL

Python

Data QA

Tools

Great Expectations

dbt tests

Soda

Monte Carlo

Pandas

PySpark

ClickHouse

PostgreSQL

Hive

Airflow

Prefect

Spark

Job description

Медиалогия ищет специалиста по обеспечению качества данных для разработки и поддержки автоматизированных процессов проверки данных в реальном времени. Вы будете работать с командами Data Engineers, Data Scientists и бизнес-заказчиками, чтобы переводить требования в технические проверки.

Ключевые задачи включают профилирование данных, расследование инцидентов и настройку мониторинга качества данных. Готовность строить масштабируемые пайплайны и работать в гибридном формате приветствуется.