DBA in Databricks

Nitka Technologies; United States; Remote; USD 100,000 - 170,000; Full time

Benefits offered by this job

Paid vacation

Holidays

Sick leaves

Competitive USD compensation

Job summary

Nitka Technologies ищет опытного DBA (Databricks) для долгосрочного проекта. Компания развивает ПО для клиентов в США и Европе и объединяет около 300 специалистов из разных регионов.

В обязанности входит управление Databricks workspace, настройка кластеров и Unity Catalog, мониторинг выполнения заданий, устранение проблем и помощь пользователям. Условия: 100% удаленная работа, работа в часовых поясах EST/ PT, гибкий график, конкурентное вознаграждение в USD и оплачиваемый отпуск.

Qualifications

• Опыт внедрения, интеграции или технической поддержки.
• Опыт работы с Linux, Bash.
• Уверенные навыки SQL.
• Опыт работы с AWS инфраструктурой (EC2, S3, IAM, VPC, секрет management, SQS).
• Опыт написания небольших скриптов на Python.
• Опыт поддержки Databricks Jobs и окружений.
• Опыт работы с REST API/SDK.
• Понимание Delta Lake, Parquet, Hive.
• Понимание cluster types & node families.
• Разговорный английский Intermediate и выше.

Responsibilities

• Управление несколькими Databricks workspace (dev/qa/prod).
• Настройка политик кластера, управление и соответствие.
• Создание и поддержка Unity Catalog: каталоги, схемы, Grants, service principals, внешнее хранение и т. д.
• Мониторинг и отладка заданий через system tables (job_run_timeline, node_timeline, workflow_run).
• Устранение сбоев кластеров, ошибок драйвера OOM, неудачных исполнителей.
• Расследование ошибок Python/Spark, конфликтов зависимостей (PyPI, WHL, Maven).
• Помощь пользователям по конфигурации кластера/проектов, ошибок ноутбуков.
• Объяснение ограничений платформы и лучших практик Data инженерам.
• Ведением страничек Confluence с правилами платформы и руководствами по устранению неполадок.

Skills

SQL skills

Databricks

Linux Bash

Python scripting

AWS cloud

REST API

Delta Lake

Data governance

Kafka

Tools

Databricks REST API

Terraform

GitLab CI

AWS CLI

Job description

Описание: Nitka Technologies develops software for customers in the US and Europe and brings together about 300 professionals from Eastern Europe, North and South America, Armenia, Georgia and Kazakhstan. We are looking for an experienced DBA (Databricks) for a long-term project. The customer is a company in California, an industry leader in the sale of tickets to events in Europe and the USA.

Задачи

• Manage multiple Databricks workspaces (dev/qa/prod)
• Configure cluster policies, governance & compliance
• Create & maintain unity catalog objects: catalogs, schemas, grants, service principals, external storage etc
• Monitor and debug failed / long-running jobs using system tables (job_run_timeline, node_timeline, workflow_run)
• Troubleshoot cluster crashes, driver OOM, executor failures, memory leaks
• Investigate Python / Spark errors, dependency conflicts (PyPI, WHL, Maven)
• Assist users with cluster/job configuration, notebook errors, unity catalog permissions
• Explain platform limitations and best practices to Data engineers
• Maintain confluence pages with platform rules & troubleshooting guides

Требования

• Experience in implementation, integration or technical support
• Experience with Linux, Bash
• Confident SQL skills
• Strong experience of working with AWS Infrastructure (ec2, s3, iam, vpc, secret management, sqs)
• Experience with Python sufficient for writing small scripts or applications
• Experience of maintaining Databricks jobs & environments
• Experience with REST API/SDK
• Understanding of file-based databases (DeltaLake, Parquet, Hive)
• Understanding of cluster types & node families
• Spoken English at Intermediate level or higher
• Будет плюсом: Databricks REST API / Databricks SDK
• Working with schema evolution, time travel, vacuum, compaction, z-order
• Debugging corrupted delta tables (conflicting commits, tombstones, missing checkpoints)
• Understanding of acid implementation on top of object storage
• Spark knowledge (jobs, partitions, queries), experience in Kafka or similar technology, familiarity with Terraform / Gitlab CI
• Cost monitoring for platform services and objects
• Experience in enterprise Data platforms

Условия

• 100% remote
• Nearshore candidates preferred, with availability to work EST or Pacific Time hours
• Remote work with no time trackers, flexible working hours
• Full-time (8 hours/day)
• Attractive USD compensation
• Paid vacation, holidays, sick leaves