devops для кластеров Spark

NDA; United States; Remote; USD 17,000 - 21,000; Full time

Benefits offered by this job

1-месячный контракт

Job summary

NDA ищет специалиста по развёртыванию управляемых кластеров Spark и автоматизации инфраструктуры. Вы будете настраивать сетевые взаимодействия между Greenplum и Spark, запускать Spark в Kubernetes и отвечать за мониторинг, журналирование и CI/CD для конвейеров данных.

Требуется опыт работы с Terraform/Ansible, Docker/Kubernetes, а также знание PySpark или Scala. Гражданство РФ обязательно. Срок привлечения — 1 месяц, старт 05.11.2026. Работа в РФ.

Qualifications

• Опыт развёртывания управляемых кластеров Spark: Yandex Data Proc, Google Dataproc или AWS EMR.
• Использование Terraform или Ansible для автоматизации инфраструктуры.
• Настройка VPC, VPN и Security Groups между Greenplum и Spark.
• Опыт Docker и Kubernetes, если Spark запускается в Kubernetes.
• Понимание архитектуры Greenplum и способов выгрузки данных: gpfdist, PXF, JDBC.
• Знание архитектуры Spark: Driver, Executor, History Server.
• Опыт работы с Parquet, ORC и Avro.
• Мониторинг и журналирование через Prometheus, Grafana или ELK.
• CI/CD через GitLab CI или Jenkins.
• Знание Python (PySpark) или Scala, Bash.
• Гражданство РФ.

Responsibilities

• Развертывать и настраивать управляемые кластеры Spark.
• Автоматизировать инфраструктуру с помощью Terraform или Ansible.
• Настраивать сетевое взаимодействие между Greenplum и Spark.
• Запускать Spark в Kubernetes.
• Управлять ресурсами кластера Spark.
• Настраивать оркестрацию конвейеров данных в Apache Airflow.
• Настраивать мониторинг и журналирование заданий Spark.
• Настраивать CI/CD для развёртывания приложений Spark.
• Писать инфраструктурные скрипты и отлаживать их.
• Использовать Bash-скрипты.

Skills

Spark развертывание

Terraform/Ansible

Python (PySpark)

Bash-скрипты

CI/CD (GitLab/Jenkins)

Docker

Kubernetes

Сетевые взаимодействия

Tools

Terraform

Ansible

Docker

Kubernetes

Prometheus

Grafana

ELK

Job description

Описание

Описания нет

Задачи

• Развертывать и настраивать управляемые кластеры Spark
• Автоматизировать инфраструктуру с помощью Terraform или Ansible
• Настраивать сетевое взаимодействие между Greenplum и Spark
• Запускать Spark в Kubernetes
• Управлять ресурсами кластера Spark
• Настраивать оркестрацию конвейеров данных в Apache Airflow
• Настраивать мониторинг и журналирование заданий Spark
• Настраивать CI/CD для развёртывания приложений Spark
• Писать инфраструктурные скрипты и отлаживать их
• Использовать Bash-скрипты

Требования

• Опыт развёртывания и настройки управляемых кластеров Spark: Yandex Data Proc, Google Dataproc или AWS EMR
• Владение Terraform или Ansible для автоматизации инфраструктуры
• Опыт настройки VPC, VPN и Security Groups между Greenplum и Spark
• Опыт работы с Docker и Kubernetes, если Spark запускается в Kubernetes
• Понимание архитектуры Greenplum и способов выгрузки данных: gpfdist, PXF, JDBC
• Знание архитектуры Spark: Driver, Executor, History Server
• Опыт работы с форматами данных Parquet, ORC и Avro
• Опыт настройки мониторинга и журналирования с Prometheus, Grafana или ELK
• Опыт настройки CI/CD с GitLab CI или Jenkins
• Знание Python (PySpark) или Scala
• Навыки работы с Bash
• Гражданство РФ

Условия

Ставка: до 1700, с НДС

Работа в РФ

Срок привлечения — 1 месяц, старт 05.11.2026