data engineer for enterprise data products

EPAM; Stati Uniti; Remoto; USD 120.000 - 180.000; Tempo pieno

Descrizione del lavoro

EPAM ищет опытного Forward Deployed Engineer/Data Engineer/Full-Stack Engineer для разработки дата-продуктов на платформе Databricks. Вы будете тесно взаимодействовать с бизнес-заказчиками, обеспечивая спецификации и демонстрации, создавая глоссарий и управляя контрактами данных в рамках Unity Catalog.

Ожидается высокий уровень владения Databricks Apps, DataHub и методология BMAD; работа будет осуществляться в условиях удаленного размещения и строгих периметров безопасности, с фокусом на

Competenze

• 5+ лет опыта как Forward Deployed Engineer / Data Engineer / Full-Stack Engineer, реализовавших data products вместе с бизнес-заказчиками
• Экспертиза в Databricks, включая Databricks Apps, Unity Catalog и Asset Bundles
• Знание методологий BMAD: product briefs, PRD, архитектура и истории с acceptance criteria
• Опыт в создании каталогов данных, глоссариев или управления метаданными; знание DataHub как инструмента управления
• Навыки проектирования и внедрения data contracts и управляемых релизов через Git
• Понимание семантических моделей, глоссариев и лайнедж-процессов
• Умение работать с безопасной аутентификацией (on-behalf-of, fail-closed)
• Способность сотрудничать с AI-агентами (Claude) для черновиков, сборки и тестирования по утвержденным спецификациям

Mansioni

• Сотрудничество с владельцами кейсов, доменными владельцами данных и стюардами для перевода их потребностей в спецификации и демонстрации – обратная связь
• Владение BMAD-цепочкой спецификаций от Brief до архитектуры и acceptance criteria
• Обеспечение привязки к спецификации при каждом MR и проверка тестов
• Реализация функциональности глоссария в DLE: поиск по терминам, просмотр и страницы терминов с определениями, владельцами и статусами
• Разработка связей терминов с сущностями и полями контрактов через semantic_term_urn
• Дизайн impact-view — отображение зависимостей продуктов и потребителей от термина
• Создание flow для propose-or-change: маршрутизация на review стюарда и MR в Git
• Разработка UI через Databricks Apps, под Unity Catalog – комментарии, теги, разрешения, lineage; деплой через Asset Bundles
• Обеспечение безопасности: аутентификация fail-closed и ограничение доступа через Unity Catalog
• Работа в рамках VDI и Coder-рабочих пространств, хранение данных клиентов в периметре
• Фиксация архитектурных решений как ADRs и подготовка runbooks для передачи прототипа
• Передача работающего демо, runbook и бэклога для эволюции прототипа в продукт

Conoscenze

Databricks

Unity Catalog

Asset Bundles

BMAD методология

Data Catalog

Data Contracts

ADR документация

Runbooks

English B2+

Git

Strumenti

Git

Databricks Apps

Descrizione del lavoro

Описание:

EPAM delivers data products on an enterprise Intelligence Platform built on Databricks. The platform includes the Data Landscape Explorer, a register of domains, entities, owners and data products that serves as the main entry point for business users.

Задачи:

• Collaborate with use case owners, domain data owners and stewards to translate their needs into specs and run demo-and-feedback loops
• Own the BMAD spec chain, from product brief and PRD through architecture and stories with acceptance criteria
• Ensure code is written only after spec approval and every merge request traces back to a story and its acceptance tests
• Deliver glossary features in the DLE, including domain-based term search and browsing, and term pages with definitions, synonyms, owners, stewards, status and version
• Implement links from terms to entities and contract fields using the existing `semantic_term_urn` field
• Design an impact view showing which products and consumers depend on a term
• Build a propose-or-change flow that routes requests to steward review and then into Git as a merge request
• Develop the UI using Databricks Apps, governed by Unity Catalog for comments, tags, permissions and lineage, and deploy via Asset Bundles
• Embed security into the design, ensuring authentication fails closed, on-behalf-of auth never silently falls back to a service principal, and access is governed by Unity Catalog
• Operate within the client’s VDI and Coder workspaces, keeping client data inside the secured perimeter
• Record decisions as ADRs in the platform’s knowledge base
• Hand over a working demo, a runbook and a backlog for evolving the prototype into a product

Требования:

• 5+ Years of experience as a Forward Deployed Engineer, Data Engineer or Full-Stack Engineer delivering data products in close collaboration with business stakeholders
• Expertise in Databricks, including Databricks Apps, Unity Catalog and Asset Bundles
• Proficiency in spec-first delivery methodologies such as BMAD, including product briefs, PRDs, architecture documents and stories with acceptance criteria
• Background in building data catalog, glossary or metadata management solutions, with familiarity with DataHub as a stewardship tool
• Skills in designing and implementing data contracts and governed release flows through Git
• Understanding of semantic models, business glossaries and lineage concepts, including linking terms to entities and contract fields
• Competency in secure authentication patterns, including on-behalf-of auth and fail-closed design
• Ability to work with AI coding agents such as Claude to draft, build and test against approved specs, and direct and review their output
• Ability to record architectural decisions as ADRs and produce runbooks and handover documentation
• Flexibility to use restricted development environments such as VDI and Coder workspaces while respecting data perimeter constraints
• Strong communication skills for running demo-and-feedback loops with use case owners, domain data owners and stewards
• Excellent written and spoken English (B2+)

Условия:

Remote hiring locations: Armenia, Azerbaijan, Georgia, Kazakhstan, Kyrgyzstan, Uzbekistan