Data Engineer, Capital Markets - Databricks & Azure

Autoriteit Financiële Markten; Amsterdam; On-site; EUR 64,000 - 106,000; Full time

Benefits offered by this job

Laptop и смартфон

Обучение и развитие

Компенсация расходов на транспорт

Рабочее место дома

Job summary

Autoriteit Financiële Markten ищет Data Engineer для проектирования и поддержки конвейеров данных в Azure и Databricks. Вы будете работать над сбором, обработкой и подготовкой данных для анализа и надмандитного мониторинга рынков капитала.

Требуется опыт работы с Databricks, PySpark, SQL и Azure Data Factory; знание CI/CD, DevOps и архитектуры данных. Предлагается годовой контракт с возможной переработкой в штат и конкурентным уровнем оплаты.

Qualifications

• Опыт работы с Databricks, PySpark и SQL в Azure.
• Разработка и управление масштабируемыми пайплайнами данных.

Responsibilities

• Разработка и управление процессами загрузки, трансформации и обработки данных в Azure и Databricks.
• Настройка CI/CD и автоматизированного тестирования и развёртывания.
• Работа с MLOps, унифицированными каталогами и обеспечением качества данных.
• Сотрудничество с аналитиками и инженерами для построения устойчивых решений.

Skills

Databricks

PySpark

SQL

Azure Data Factory

CI/CD

Azure DevOps

Unity Catalog

MLOps

Data modeling

Data governance

Git

Education

Master's degree in Computer Science / Data Engineering

Tools

Databricks

Azure Data Factory

Azure Storage

Declarative Automation Bundles

Unity Catalog

Git

Azure DevOps

Job description

Autoriteit Financiële Markten ищет Data Engineer для проектирования и поддержки конвейеров данных в Azure и Databricks. Вы будете работать над сбором, обработкой и подготовкой данных для анализа и надмандитного мониторинга рынков капитала.

Требуется опыт работы с Databricks, PySpark, SQL и Azure Data Factory; знание CI/CD, DevOps и архитектуры данных. Предлагается годовой контракт с возможной переработкой в штат и конкурентным уровнем оплаты.