Remote Data Platform Engineer - Delta Lake on Fabric

Software Mind; United States; Remote; USD 140,000 - 210,000; Full time

Benefits offered by this job

Remote cooperation

International projects

Private healthcare

Life insurance

Multisport card

Language courses

Knowledge sharing programs

Travel opportunities

Job summary

Software Mind разрабатывает решения, влияющие на бизнес клиентов по всему миру. Команда строит кросс‑функциональные инженерные платформы на базе Microsoft Fabric и Delta Lake, отвечая за устойчивость, безопасность и масштабируемость.

Ваша роль — владение архитектурой медальонных данных, проектирование Bronze/Silver/Gold схем, пайплайнов и моделей Direct Lake, работа с безопасностью PAN и интеграциями с DMN/Brighterion.

Qualifications

• 5+ лет опыта в data engineering.
• 2+ года практики Spark (PySpark приветствуется).
• Глубокие знания Delta Lake — транзакции, retention, VACUUM.
• Опыт работы с Parquet: footer, статистика, индекс.
• Практика Microsoft Fabric — рабочих пространств, notebook, lakehouse.
• Навыки оптимизации SQL для OLAP( Fabric) и OLTP(PostgreSQL).
• Сильные навыки Python: pandas, PyArrow, delta-rs.
• PCI‑скоуп данные
• Опыт работы с Power BI (DAX).
• Знакомство с управлением данными: SCD2, канонические модели.

Responsibilities

• Строить Bronze/Silver/Gold Delta таблицы и пайплайны Fabric.
• Дизайн канонических Silver и Gold схем и PAN‑safe компоновка.
• Разрабатывать Fabric Spark блоки и notebooks для фичей (24h/7d/30d).
• Создавать Direct Lake семантические модели и материалы для DMN/Brighterion.
• Настраивать OneLake, пространственные макеты и кросс‑лакохаус паттерны.
• Работать с DevOps по IaC (Terraform) для Fabric.
• Обеспечивать ingestion через SFTP/API и токенизацию PAN.
• Оптимизировать производительность и хранение (кластеризация, retention).
• Согласовывать архитектуру с бизнес‑целями клиента.

Skills

Data engineering

Spark (PySpark)

Python

SQL

Communication

Cloud (Azure)

Tools

Microsoft Fabric

Delta Lake

OneLake

ClickHouse

Terraform

Azure Data Services

Job description

Software Mind разрабатывает решения, влияющие на бизнес клиентов по всему миру. Команда строит кросс‑функциональные инженерные платформы на базе Microsoft Fabric и Delta Lake, отвечая за устойчивость, безопасность и масштабируемость.

Ваша роль — владение архитектурой медальонных данных, проектирование Bronze/Silver/Gold схем, пайплайнов и моделей Direct Lake, работа с безопасностью PAN и интеграциями с DMN/Brighterion.