quality engineer (auto) data migration

HireHi; United States; Remote; USD 120,000 - 170,000; Full time

Job summary

HireHi ищет специалиста по качеству данных для проекта миграции и валидации на платформе Databricks и Microsoft Fabric. Ваша задача — обеспечить надежное тестирование, сопоставление данных и устойчивые результаты отчетности.

Требуется 5+ лет опыта в тестировании данных, знания Python и SQL, опыт работы с пайплайнами и CI/CD, владение английским. Ожидается удаленная работа с англоязычными клиентами и знания Microsoft Fabric/Sapiens и прочих фреймворков по желанию.

Qualifications

• 5+ лет в области тестирования качества данных/ETL, с упором на данные, а не на приложения
• Сильные навыки Python и SQL для построения тестовой автоматизации
• Опыт проверки конвейеров данных: подсчет строк, суммы контроля, целостность
• Опыт reconciliation source-to-target с заданными допусками
• Опыт CI/CD тестирования и внедрения quality gates
• Опыт работы с Azure Databricks и Azure DevOps
• Владение английским языком на уровне, достаточном для общения с клиентами

Responsibilities

• Разрабатывать и внедрять фреймворки тестирования данных и обеспечения качества
• Создавать автоматическую валидацию для пайплайнов и продуктов данных
• Вести reconciliation между устаревшими системами и новой платформой
• Разрабатывать регрессионные наборы тестов и запускать их без участия человека
• Писать unit-тесты, исполняющиеся в CI/CD и блокирующие релиз при нарушениях
• Обнаруживать и обрабатывать дрифты схем данных и неожиданные изменения
• Проверять отчеты, дашборды и семантические модели, включая показатели и суммы
• Применять AI-методы к тестированию и покрытию с ручной верификацией

Skills

Python

SQL

CI/CD

Azure Databricks

Azure DevOps

SQL Server

English

Tools

Databricks

Great Expectations

dbt tests

Soda

Deequ

Job description

Описание: DataArt delivers a data migration and reporting project that moves a legacy estate onto a modern platform built on Databricks and Microsoft Fabric. The project focuses on reliable data reconciliation, pipeline quality, and consistent reporting results.

Задачи:

• Design and implement data testing and quality assurance frameworks;
• Build automated validation for data pipelines and data products;
• Own source-to-target reconciliation between legacy systems and the new platform;
• Build repeatable regression packs that run unattended;
• Write unit tests that execute automatically within CI/CD, with quality gates that can block a release;
• Detect and handle schema drift and unexpected structural changes;
• Validate reports, dashboards, and semantic models, including measure definitions, filter behaviour, and totals;
• Apply AI-assisted techniques to test generation and coverage analysis, with human review.

Требования:

• 5+ Years of experience in quality engineering, with meaningful recent experience testing data or ETL processes rather than applications;
• Strong Python and SQL skills used for building test automation rather than only running it;
• Experience with pipeline validation, including row counts, control totals, referential integrity, and business rule assertions;
• Experience with source-to-target reconciliation using defined tolerances;
• Experience with test automation within CI/CD, including gates that block a release;
• Experience with Azure Databricks;
• Experience with Azure DevOps;
• Experience with SQL Server;
• English proficiency suitable for direct client conversations;
• Nice to have: Microsoft Fabric, Sapiens, data quality frameworks including Great Expectations, dbt tests, Databricks Expectations, DLT quality rules, Soda, or Deequ, designing a test framework from scratch, testing semantic models and BI layers, working in a regulated financial services environment, application test automation alongside data testing including Selenium, C#, SpecFlow, or Playwright.

Условия:

UK remote, including remote London.