Data engineer in financial services

Intellias; United States; Remote; USD 140,000 - 210,000; Full time

Job summary

Intellias набирает старшего дата-инженера для работы в команде по миграции крупной финансовой платформы данных. Ваша роль включает создание production‑кода каждую неделю, принятие архитектурных решений и наставничество младшего инженера.

Основные задачи: проектирование медалльон-пайплайнов на Databricks, настройка Unity Catalog и обеспечение качества данных. Требуется глубокий опыт Databricks, PySpark, SQL и знание английского языка.

Qualifications

• 6+ лет опыта в обработке данных, последние 3 года на Databricks в production.
• Глубокий практический опыт медалльон/архитектуры Lakehouse, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines и Databricks Asset Bundles.
• Сильные навыки Python, PySpark и SQL, умение диагностировать проблемы производительности на больших загрузках через Spark UI и Photon.
• Опыт обработки потоковых данных (Kafka Structured Streaming, Auto Loader) и паттерны CDC.
• Опыт реализации качества данных в масштабе (Great Expectations или аналог), а также линейка данных, каталогизация и контроль доступа.
• CI/CD на дата-платформах через Azure DevOps или GitHub Actions, с инфраструктурой как кодом (Terraform или аналог).
• Свободное владение английским языком.
• Будет плюсом: сертификации Databricks; опыт с платформами управления активами; CDMP или DAMA; применение инструментов агентного инжиниринга к продуктивным данным.

Responsibilities

• Обеспечение сквозной доставки одной или нескольких доменов данных на Azure Databricks.
• Проектирование и создание медалльон-пайплайнов, использованием Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming и Delta Lake.
• Регистрация и каталогизация данных в Unity Catalog с корректными тегами, масками, фильтрами и политиками доступа.
• Реализация контроль качетва на границе Silver-to-Gold и доработка правил совместно с доменными специалистами.
• Упаковка и развёртывание решений через Databricks Asset Bundles в Azure DevOps CI/CD.
• Написание тестов и документации.
• Работа на уровне AI как со-оператора, с дальнейшим ростом до AI как ОРК.

Skills

Python

PySpark

SQL

Databricks

Delta Lake

Unity Catalog

Lakehouse architecture

CI/CD

Terraform

English

Tools

Azure DevOps

GitHub Actions

Terraform

Kubernetes

Spark UI

Job description

Описание:

We are hiring a Senior Data Engineer to join an Intellias delivery team on a large-scale enterprise data platform migration programme for a financial services client. This is a hands-on senior role. You will write production code every week, own architectural decisions on your workstream, and mentor a paired mid-level engineer.

Задачи:

Perform the end-to-end delivery of one or more priority data domains on Azure Databricks. Design and build medallion (Bronze / Silver / Gold) pipelines using Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming and Delta Lake with Liquid Clustering. Register curated data products in Unity Catalog with the correct tags, masks, row filters, lineage and access policies. Implement data quality gates at the Silver-to-Gold boundary, and refine rules with domain stewards. Package and deploy work using Databricks Asset Bundles through Azure DevOps CI/CD Write automated tests and documentation Work at AI-as-Collaborator level today with a path to AI-as-Orchestrator, using Claude Code, Databricks Assistant, GitHub Copilot and MCP-connected agent tooling to accelerate the recurring parts of pipeline build, test and deploy.

Требования:

6+ years of data engineering experience, with at least the last three years on Databricks in production. Deep hands-on experience with medallion / Lakehouse architecture, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines and Databricks Asset Bundles. Strong python, PySpark and SQL, comfortable diagnosing performance issues on large workloads through Spark UI and Photon. Real production experience with streaming ingestion (Kafka Structured Streaming, Auto Loader) and CDC patterns. Experience implementing data quality at scale (Great Expectations or equivalent), plus lineage, cataloguing and access control. CI/CD on data platforms through Azure DevOps or GitHub Actions, with infrastructure as code (Terraform or equivalent). Fluent working English. Будет плюсом: Active Databricks certifications; Prior exposure to investment management platforms, asset management operations data, market data feeds from major providers; CDMP DAMA certification or equivalent data governance credential; Experience applying agentic engineering tooling to production data engineering (not just personal productivity), including MCP-connected Databricks or cloud servers

Условия:

By creating a comfortable atmosphere in our team, we empower individuals to unlock their true potential and achieve extraordinary results. That’s why we offer a range of benefits that support your well-being and charge your professional growth.