DevOps Engineer Data

HireHi; United States; Remote; USD 130,000 - 170,000; Full time

Job summary

HireHi ищет инженера DevOps в команду Data Engineering. Ваша задача — проектировать и поддерживать инфраструктуру данных, обеспечивать развёртывание конвейеров ETL и управление инфраструктурой в AWS для исследовательских и продукционных систем.

Требуются 5+ лет опыта в DevOps/DataOps, сильные навыки Linux, Airflow, Spark, ClickHouse, DBT и Nessie, а также владение Python, Bash и Ansible. Ожидается опыт GitLab CI/CD и мониторинга.

Qualifications

• 5+ лет в DevOps, IT Ops или DataOps с практическим опытом инфраструктуры данных
• Узлы Linux: сетевые настройки, ядро, производительность
• Практический опыт Airflow, ClickHouse, DBT, Spark и Project Nessie
• Глубокие знания AWS: S3, EC2, IAM, сети
• Скрипты на Python, Bash и Ansible, автоматизация процессов
• Опыт работы с GitLab CI/CD пайплайнами
• Опыт мониторинга: Prometheus, Grafana, ELK
• Опыт Docker и Kubernetes
• Понимание концепций управления данными
• Коммуникабельность и проактивность
• Английский не ниже B2+
• Будет плюсом: стриминг, Terraform, безопасность данных, торговые окружения

Responsibilities

• Разработка и поддержка DevOps инструментов для конвейеров данных
• Поддержка и автоматизация ETL-процессов (Spark, Airflow)
• Мониторинг и observability для качества данных, пайплайнов и хранилищ
• Развертывание инфраструктуры данных в AWS
• Интеграция Project Nessie как транзакционного каталога для Data Lakes
• Сотрудничество с Data Engineers по развёртыванию, версионности и масштабированию
• Автоматизация CI/CD процессами через GitLab CI/CD
• Обеспечение безопасности обработки чувствительных данных
• Написание инфраструктурной автоматизации на Python, Bash, Ansible
• Документирование систем, пайплайнов и процессов DevOps

Skills

Linux administration

Python scripting

Ansible

GitLab CI/CD

Airflow

Spark / Big Data

AWS

Docker/Kubernetes

Monitoring (Prometheus/Grafana)

Tools

Docker

Kubernetes

Terraform

ClickHouse

DBT

Job description

Описание: The Data Engineering team builds and maintains data infrastructure that powers trading research and production systems.

Задачи:

• Design, implement, and maintain DevOps tooling for data pipelines and platforms
• Support and automate ETL workflows such as Spark and Airflow
• Build and manage monitoring and observability for data quality, pipelines, and storage systems
• Implement and maintain data storage infrastructure on AWS
• Integrate and support Project Nessie as a transactional catalog for Data Lakes with Git-like semantics
• Work closely with Data Engineers to ensure smooth deployment, versioning, and scaling of data jobs and pipelines
• Automate deployment and CI/CD processes with GitLab CI/CD
• Ensure security best practices for handling sensitive data
• Write infrastructure automation using Python, Bash, and Ansible
• Document systems, pipelines, and DevOps processes

Требования:

• 5+ Years in a DevOps, IT Ops, or DataOps role, with hands‑on experience in data‑related infrastructure
• Strong Linux knowledge, including networking, kernel tuning, and performance optimization
• Hands‑on experience with Airflow, ClickHouse, DBT, Spark, and Project Nessie
• Solid knowledge of AWS services, including S3, EC2, IAM, and networking
• Proficiency in Python, Bash, and Ansible scripting and automation
• Experience with GitLab CI/CD pipelines
• Experience with Prometheus, Grafana, and ELK monitoring stacks
• Familiarity with Docker and Kubernetes
• Understanding of data governance concepts
• Strong communication skills and a proactive, ownership-driven mindset
• English proficiency at B2+ level
• Будет плюсом: real-time data streaming experience, Terraform, security in data engineering (IAM, encryption, access control), background in high-performance systems or trading environments

Условия:

B2B engagement