Data Platform DevOps Engineer

HireHi; United States; Remote; USD 130,000 - 170,000; Full time

Job summary

HireHi ищет инженера DevOps в команду Data Engineering. Ваша задача — проектировать и поддерживать инфраструктуру данных, обеспечивать развёртывание конвейеров ETL и управление инфраструктурой в AWS для исследовательских и продукционных систем.

Требуются 5+ лет опыта в DevOps/DataOps, сильные навыки Linux, Airflow, Spark, ClickHouse, DBT и Nessie, а также владение Python, Bash и Ansible. Ожидается опыт GitLab CI/CD и мониторинга.

Qualifications

• 5+ лет в DevOps, IT Ops или DataOps с практическим опытом инфраструктуры данных
• Узлы Linux: сетевые настройки, ядро, производительность
• Практический опыт Airflow, ClickHouse, DBT, Spark и Project Nessie
• Глубокие знания AWS: S3, EC2, IAM, сети
• Скрипты на Python, Bash и Ansible, автоматизация процессов
• Опыт работы с GitLab CI/CD пайплайнами
• Опыт мониторинга: Prometheus, Grafana, ELK
• Опыт Docker и Kubernetes
• Понимание концепций управления данными
• Коммуникабельность и проактивность
• Английский не ниже B2+
• Будет плюсом: стриминг, Terraform, безопасность данных, торговые окружения

Responsibilities

• Разработка и поддержка DevOps инструментов для конвейеров данных
• Поддержка и автоматизация ETL-процессов (Spark, Airflow)
• Мониторинг и observability для качества данных, пайплайнов и хранилищ
• Развертывание инфраструктуры данных в AWS
• Интеграция Project Nessie как транзакционного каталога для Data Lakes
• Сотрудничество с Data Engineers по развёртыванию, версионности и масштабированию
• Автоматизация CI/CD процессами через GitLab CI/CD
• Обеспечение безопасности обработки чувствительных данных
• Написание инфраструктурной автоматизации на Python, Bash, Ansible
• Документирование систем, пайплайнов и процессов DevOps

Skills

Linux administration

Python scripting

Ansible

GitLab CI/CD

Airflow

Spark / Big Data

AWS

Docker/Kubernetes

Monitoring (Prometheus/Grafana)

Tools

Docker

Kubernetes

Terraform

ClickHouse

DBT

Job description

HireHi ищет инженера DevOps в команду Data Engineering. Ваша задача — проектировать и поддерживать инфраструктуру данных, обеспечивать развёртывание конвейеров ETL и управление инфраструктурой в AWS для исследовательских и продукционных систем.

Требуются 5+ лет опыта в DevOps/DataOps, сильные навыки Linux, Airflow, Spark, ClickHouse, DBT и Nessie, а также владение Python, Bash и Ansible. Ожидается опыт GitLab CI/CD и мониторинга.