Senior Data Platform Engineer (Azure, Airflow, Databricks)

Capitole; Barcelona; On-site; EUR 90,000 - 130,000; Full time

Benefits offered by this job

€1,200/year for your professional 개발

Private health insurance fully covered

Payflow benefits (meal, transport, etc

Wellhub subscription

Capitole Club discounts

Team buildings every two months

Job summary

Capitole ищет старшего инженера платформы данных для эволюции Azure-базированной Data Platform и Lakehouse архитектуры. Вы будете владеть основами, над которыми строят команды продуктов, включая Airflow, управление ресурсами Azure и Terraform, а также DevOps для инфраструктуры как кода.

Ваша роль включает миграцию с ADF на Airflow, развитие фреймворка оркестрации, обеспечение наблюдаемости и управления затратами. Требуется 6+ лет опыта и сильные знания Python, SQL и Databricks.

Qualifications

• 6+ лет опыта в области data engineering, развитие платформы/инфраструктуры.
• Глубокие знания Python и SQL (продвинутый уровень), PySpark и Delta Lake.
• Опыт работы с Apache Airflow в продакшн: разработка DAG, деплой, операции и оркестрование Databricks и ADF workloads.
• Опыт управления ресурсами Azure: Key Vault, managed identities и service principals, управление секретами.
• Управление доступами: Azure RBAC, Entra ID, Unity Catalog.
• Опыт работы с Azure DevOps и CI/CD для data platforms.

Responsibilities

• Владение платформой Apache Airflow: окружения, развёртывание, обновления, конфигурация, коннекторы и DAG стандарты.
• Миграция с Azure Data Factory на Airflow и развитие фреймворка оркестрации, метаданные и DAGs.
• Обеспечение надёжности Airflow: SLA, оповещения, ретраи, health monitoring.
• Управление ресурсами Azure через Terraform: Databricks, Data Lake Storage, Key Vault, сети.
• Управление секретами и идентификацией: Key Vault, сервис-принципы, управляемые идентификаторы.
• Управление доступами: Azure RBAC, Entra ID, Unity Catalog, least privilege.
• Ведение DevOps: репозитории, CI/CD пайплайны, окружения, Terraform state.
• Контроль затрат и Governance Azure-ресурсов; тегирование, бюджетирование, right-sizing.
• Участие в реализации Data Catalog и Data Quality Framework, линьяж платформы.
• Драйв Observability: пайплайны observability и alert-driven.
• Эксплуатация Databricks: Unity Catalog, политики кластеров, Auto Loader, оптимизация затрат и производительности.
• Участие в архитектурных обзорах и принятий технических решений.
• Определение и продвижение инженерных стандартов и руководств, код-ревью и дизайн-обзоры.
• Сотрудничество с Архитекторами, Product Owner и инженерами по данным.
• Разработка инструментов разработчика и автоматизации, включая AI-помощники и авто-PR ревью.

Skills

Python

SQL

PySpark

Airflow

Databricks

Azure

Terraform

Unity Catalog

Azure DevOps

Security basics

Observability

Cost management

Tools

Azure Data Factory

Azure Databricks

Terraform

AKS

Job description

Capitole ищет старшего инженера платформы данных для эволюции Azure-базированной Data Platform и Lakehouse архитектуры. Вы будете владеть основами, над которыми строят команды продуктов, включая Airflow, управление ресурсами Azure и Terraform, а также DevOps для инфраструктуры как кода.

Ваша роль включает миграцию с ADF на Airflow, развитие фреймворка оркестрации, обеспечение наблюдаемости и управления затратами. Требуется 6+ лет опыта и сильные знания Python, SQL и Databricks.