platform engineer Azure Databricks

EPAM; Deutschland; On-site; EUR 90,000 - 130,000; Full time

Job summary

EPAM ищет специалиста по управлению облачными средами на базе Azure Databricks и Data Lake Gen2 для глобальной инфраструктуры. Вы будете администрировать рабочие пространства, настраивать доступ через RBAC и Entra ID, внедрять политики Unity Catalog и отслеживание lineage, обеспечивая безопасность и соответствие требованиям.

Ключевые задачи включают разработку автоматизации с Python и Terraform, интеграцию REST API, мониторинг работоспособности и реагирование на инциденты.

Qualifications

• Опыт работы с Azure Databricks и Data Lake Gen2 в крупных компаниях.
• Уверенное владение Azure RBAC и Entra ID для управления доступом.
• Знание Unity Catalog, lineage и принципов управления данными.
• Опыт Terraform для развёртывания инфраструктуры Databricks.
• Основы Python для автоматизации и скриптов.
• Работа с REST API для конфигурации систем и интеграций.
• Понимание DevOps: наблюдаемость, мониторинг и реагирование на инциденты.
• Опыт работы в глобальных корпоративных средах; сильные аналитические навыки.
• Знакомство с методологиями Agile (Scrum/SAFe) приветствуется.
• Знания IaC: Terraform, ARM templates; опыт CI/CD.

Responsibilities

• Администрирование и управление рабочими пространствами Azure Databricks и Data Lake Gen2.
• Внедрение RBAC и Entra ID для контроля доступа.
• Применение Unity Catalog, контроля доступа и lineage.
• Разработка автоматизации и REST API интеграций для конфигурации окружений.
• Мониторинг состояния платформы, обеспечение надёжности и реагирование на инциденты.
• Сотрудничество со стейкхолдерами по стандартам и управлению.
• Устранение проблем и оптимизация производительности и эффективности.
• Документация процессов и поддержка лучших практик платформы.

Skills

Azure Databricks

Data Lake Storage Gen2

RBAC

Entra ID

Unity Catalog

Data Lineage

REST APIs

Terraform

Python scripting

DevOps

Observability

Incident Response

Agile methods

Scrum SAFe

Tools

ARM templates

Job description

Описание: EPAM provides enterprise software products, open source solutions, and accelerators.

Задачи

• Administer and manage Azure Databricks and Data Lake Storage Gen2 workspaces
• Implement and enforce access control using RBAC and Entra ID
• Apply Databricks governance concepts, including Unity Catalog, data lineage, and access policies
• Develop automation scripts and REST API integrations for environment configuration and monitoring
• Monitor platform health, ensure operational reliability, and handle incident response
• Collaborate with stakeholders to align platform standards and governance practices
• Troubleshoot and resolve platform issues, optimizing performance and efficiency
• Document processes and maintain platform best practices

Требования

• Strong experience with Microsoft Azure services, particularly Azure Databricks and Data Lake Storage
• Proficiency in Azure access management with RBAC and Entra ID
• Knowledge of Databricks governance, including Unity Catalog for security and data lineage
• Hands-on experience using Terraform for deploying and managing Databricks infrastructure
• Basic Python programming skills for automation and scripting
• Familiarity with REST APIs for system configuration
• Understanding of DevOps principles, including observability, monitoring, and incident response
• Experience working in enterprise environments, ideally global organizations
• Strong analytical and problem-solving abilities
• Nice to have: familiarity with Agile methodologies (Scrum, SAFe), experience in Databricks administration such as job orchestration and cluster policy design, contributions to shared automation or governance frameworks, knowledge of infrastructure-as-code tools such as Terraform and ARM templates, exposure to CI/CD pipelines and DevOps toolchains.

Условия

Remote or hybrid working mode in Poland.