Senior Data Engineer – Pharma/Biotech, Databricks & dbt

NDA; United States; Remote; USD 18.000 - 27.000; Vollzeit

Zusammenfassung

NDA ищет старшего инженера по данным для проектирования и поддержки конвейеров на Azure Databricks: Landing, Raw, Enriched, Curated. Роль предполагает создание архитектуры, надзор за их работоспособностью и соответствием требованиям.

Кандидат должен иметь практический опыт Databricks Jobs, Delta Lake и dbt, обеспечивать качество данных, управление версиями в рамках Dev/Test/Prod, а также участие в CI/CD и MLOps на Databricks.

Qualifikationen

• Опыт работы с Azure Databricks, Spark и Delta Lake.
• Опыт построения многослойных конвейеров (Landing, Raw, Enriched, Curated).
• Опыт организации пайплайнов через Databricks Jobs/Workflows с зависимостями и оповещениями.
• Опыт контроля качества данных на входе, обработки дрейфа схем.
• Опыт dbt для наблюдаемости пайплайнов и управления данными.

Aufgaben

• Разработка и сопровождение многоуровневых конвейеров на Azure Databricks.
• Оркестрация задач через Databricks Jobs/Workflows, обработка ошибок и оповещения.
• Внедрение пакетной и API-интеграций.
• Контроль качества данных, соблюдение SLA.
• Работа в средах Dev/Test/Prod, включая доступ и аудит.
• Вклад в CI/CD и MLOps на Databricks.

Kenntnisse

Azure Databricks

Spark

Delta Lake

dbt

Data pipelines

Databricks Jobs

Data quality checks

ETL/ELT

CI/CD for data workflows

Jobbeschreibung

NDA ищет старшего инженера по данным для проектирования и поддержки конвейеров на Azure Databricks: Landing, Raw, Enriched, Curated. Роль предполагает создание архитектуры, надзор за их работоспособностью и соответствием требованиям.

Кандидат должен иметь практический опыт Databricks Jobs, Delta Lake и dbt, обеспечивать качество данных, управление версиями в рамках Dev/Test/Prod, а также участие в CI/CD и MLOps на Databricks.