Senior Data Engineer - Azure Databricks Lakehouse (FinServ)

Intellias; United States; Remote; USD 140,000 - 210,000; Full time

Job summary

Intellias набирает старшего дата-инженера для работы в команде по миграции крупной финансовой платформы данных. Ваша роль включает создание production‑кода каждую неделю, принятие архитектурных решений и наставничество младшего инженера.

Основные задачи: проектирование медалльон-пайплайнов на Databricks, настройка Unity Catalog и обеспечение качества данных. Требуется глубокий опыт Databricks, PySpark, SQL и знание английского языка.

Qualifications

• 6+ лет опыта в обработке данных, последние 3 года на Databricks в production.
• Глубокий практический опыт медалльон/архитектуры Lakehouse, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines и Databricks Asset Bundles.
• Сильные навыки Python, PySpark и SQL, умение диагностировать проблемы производительности на больших загрузках через Spark UI и Photon.
• Опыт обработки потоковых данных (Kafka Structured Streaming, Auto Loader) и паттерны CDC.
• Опыт реализации качества данных в масштабе (Great Expectations или аналог), а также линейка данных, каталогизация и контроль доступа.
• CI/CD на дата-платформах через Azure DevOps или GitHub Actions, с инфраструктурой как кодом (Terraform или аналог).
• Свободное владение английским языком.
• Будет плюсом: сертификации Databricks; опыт с платформами управления активами; CDMP или DAMA; применение инструментов агентного инжиниринга к продуктивным данным.

Responsibilities

• Обеспечение сквозной доставки одной или нескольких доменов данных на Azure Databricks.
• Проектирование и создание медалльон-пайплайнов, использованием Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming и Delta Lake.
• Регистрация и каталогизация данных в Unity Catalog с корректными тегами, масками, фильтрами и политиками доступа.
• Реализация контроль качетва на границе Silver-to-Gold и доработка правил совместно с доменными специалистами.
• Упаковка и развёртывание решений через Databricks Asset Bundles в Azure DevOps CI/CD.
• Написание тестов и документации.
• Работа на уровне AI как со-оператора, с дальнейшим ростом до AI как ОРК.

Skills

Python

PySpark

SQL

Databricks

Delta Lake

Unity Catalog

Lakehouse architecture

CI/CD

Terraform

English

Tools

Azure DevOps

GitHub Actions

Terraform

Kubernetes

Spark UI

Job description

Intellias набирает старшего дата-инженера для работы в команде по миграции крупной финансовой платформы данных. Ваша роль включает создание production‑кода каждую неделю, принятие архитектурных решений и наставничество младшего инженера.

Основные задачи: проектирование медалльон-пайплайнов на Databricks, настройка Unity Catalog и обеспечение качества данных. Требуется глубокий опыт Databricks, PySpark, SQL и знание английского языка.