data engineer for a Lakehouse

Data Smart Solutions; United States; On-site; USD 120,000 - 170,000; Full time

Benefits offered by this job

Performance-based bonus

Job summary

HireHi ищет инженера по данным для работы над Databricks Lakehouse, чтобы поддерживать медалльную архитектуру Bronze/Silver/Gold и интегрировать источники Oracle и внешних API.

Кандидат будет оптимизировать Spark, управлять Unity Catalog и защитой данных, разворачивать DABs и моделирование Data Vault, сотрудничать с командами приложений для веб-приложений, LLM и моделей ML.

Qualifications

• Сильный опыт Databricks и архитектуры Lakehouse (bronze/silver/gold).
• Продвинутый PySpark для трансформаций в ноутбуках.
• Опыт работы с Unity Catalog, RBAC и PII-маскированием.

Responsibilities

• Построение и поддержка Databricks Lakehouse с медалльной архитектурой bronze/silver/gold.
• Загрузка данных из Oracle и API в Bronze-слой.
• Моделирование серебряного слоя Data Vault; золотого — размерными моделями.
• Оптимизация производительности Spark и макетов Delta Lake.
• Реализация управления данными, доступа и PII-маскирование в Unity Catalog.
• Замена ручного планирования унифицированной платформой данных.
• Сотрудничество с командой приложений для веб‑приложения, LLM и моделей ML.

Skills

Databricks Lakehouse

PySpark

Delta Lake

Data Vault

Fivetran

Oracle SQL

Spark tuning

Unity Catalog

RBAC

PII masking

DABs

Governance

Tools

Databricks

Fivetran

Job description

Описание

The enterprise data platform team is building a Lakehouse that powers a web app, LLM agents, and ML models.

Задачи

• Build and maintain a Databricks Lakehouse using a medallion architecture Ingest data from Oracle systems and APIs into the bronze layer Model the silver layer with Data Vault and the gold layer with dimensional models Optimize Spark performance and Delta table layouts Implement governance, access control, and PII masking in Unity Catalog Replace manual scheduling processes and spreadsheets with a unified data platform Collaborate with the application team building on the gold layer for the web app, LLMs, and ML models

Требования

• Strong experience with Databricks and Lakehouse medallion architecture (bronze / silver / gold) Advanced PySpark skills for building transformations in notebooks Hands-on experience with Delta Lake Experience with Data Vault modeling (hubs, links, satellites) Experience ingesting data with Fivetran and custom API integrations Experience working with Oracle SQL databases as source systems Spark performance tuning, including skew handling and Liquid Clustering Experience deploying with Databricks Asset Bundles (DABs) Experience with Unity Catalog, group-based RBAC, and PII masking Будет плюсом: Great Expectations or similar data quality frameworks, handling unstructured files in Blob storage, supporting LLM/agent and ML use cases with curated data

Условия

• Performance-based bonus