Remote Azure Databricks Data Engineer – Drug Development

Andersen; United States; Hybrid; USD 67,000 - 100,000; Full time

Benefits offered by this job

Private health insurance

Career growth opportunities

Training portal access

Certification compensation (AWS, PMP)

Referral program

Job summary

Andersen ищет дата-инженера для проекта на Azure Databricks в ЕС, цель — развивать облачную платформу данных и поставлять масштабируемые решения для разработки лекарств.

Задачи включают конвейеры Landing–Raw–Enriched–Curated, оркестрацию через Databricks Jobs, интеграцию данных батч/API, контроль качества и аудит. Требуется 4+ года опыта, dbt, CI/CD, английский не ниже Upper-Intermediate.

Qualifications

• 4+ лет коммерческого опыта в Data Engineering.
• Опыт работы с Azure Databricks и Delta Lake.
• Умение проектировать конвейеры Landing → Raw → Enriched → Curated.
• Контроль качества данных на этапе инференции и хранении.
• Опыт оркестрации через Databricks Jobs / Workflows, обработка зависимостей и сбоев.
• Опыт Batch и API‑интеграций, dbt, мониторинг и аудит.

Responsibilities

• Создание и сопровождение многослойных конвейеров (Landing → Raw → Enriched → Curated) на Azure Databricks.
• Оркестрация пайплайнов через Databricks Jobs / Workflows; управление зависимостями и повторными попытками.
• Интеграция данных батч и API из разных источников; обеспечение качества на стадии ingest.
• Контроль качества, аудит и документирование traceability и data lineage.
• Работа с dbt для observability, governance и CI/CD/MLOps в Databricks.
• Мониторинг сбоев, свежести данных и соответствия SLA; настройка логирования и алертинга.

Skills

Azure Databricks

Spark

Delta Lake

dbt

Databricks Jobs

Workflows

Data ingestion

Data quality checks

Schema enforcement

CI/CD

MLOps

Data contracts

Data lineage

English (Upper-Intermediate)

Tools

dbt

Delta Lake

Spark

Job description

Andersen ищет дата-инженера для проекта на Azure Databricks в ЕС, цель — развивать облачную платформу данных и поставлять масштабируемые решения для разработки лекарств.

Задачи включают конвейеры Landing–Raw–Enriched–Curated, оркестрацию через Databricks Jobs, интеграцию данных батч/API, контроль качества и аудит. Требуется 4+ года опыта, dbt, CI/CD, английский не ниже Upper-Intermediate.