Эксперт DevOps: Spark-кластеры, Kubernetes и Terraform

NDA; United States; A distancia; USD 17.000 - 21.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

1-месячный контракт

Descripción de la vacante

NDA ищет специалиста по развёртыванию управляемых кластеров Spark и автоматизации инфраструктуры. Вы будете настраивать сетевые взаимодействия между Greenplum и Spark, запускать Spark в Kubernetes и отвечать за мониторинг, журналирование и CI/CD для конвейеров данных.

Требуется опыт работы с Terraform/Ansible, Docker/Kubernetes, а также знание PySpark или Scala. Гражданство РФ обязательно. Срок привлечения — 1 месяц, старт 05.11.2026. Работа в РФ.

Formación

• Опыт развёртывания управляемых кластеров Spark: Yandex Data Proc, Google Dataproc или AWS EMR.
• Использование Terraform или Ansible для автоматизации инфраструктуры.
• Настройка VPC, VPN и Security Groups между Greenplum и Spark.
• Опыт Docker и Kubernetes, если Spark запускается в Kubernetes.
• Понимание архитектуры Greenplum и способов выгрузки данных: gpfdist, PXF, JDBC.
• Знание архитектуры Spark: Driver, Executor, History Server.
• Опыт работы с Parquet, ORC и Avro.
• Мониторинг и журналирование через Prometheus, Grafana или ELK.
• CI/CD через GitLab CI или Jenkins.
• Знание Python (PySpark) или Scala, Bash.
• Гражданство РФ.

Responsabilidades

• Развертывать и настраивать управляемые кластеры Spark.
• Автоматизировать инфраструктуру с помощью Terraform или Ansible.
• Настраивать сетевое взаимодействие между Greenplum и Spark.
• Запускать Spark в Kubernetes.
• Управлять ресурсами кластера Spark.
• Настраивать оркестрацию конвейеров данных в Apache Airflow.
• Настраивать мониторинг и журналирование заданий Spark.
• Настраивать CI/CD для развёртывания приложений Spark.
• Писать инфраструктурные скрипты и отлаживать их.
• Использовать Bash-скрипты.

Conocimientos

Spark развертывание

Terraform/Ansible

Python (PySpark)

Bash-скрипты

CI/CD (GitLab/Jenkins)

Docker

Kubernetes

Сетевые взаимодействия

Herramientas

Terraform

Ansible

Docker

Kubernetes

Prometheus

Grafana

ELK

Descripción del empleo

NDA ищет специалиста по развёртыванию управляемых кластеров Spark и автоматизации инфраструктуры. Вы будете настраивать сетевые взаимодействия между Greenplum и Spark, запускать Spark в Kubernetes и отвечать за мониторинг, журналирование и CI/CD для конвейеров данных.

Требуется опыт работы с Terraform/Ansible, Docker/Kubernetes, а также знание PySpark или Scala. Гражданство РФ обязательно. Срок привлечения — 1 месяц, старт 05.11.2026. Работа в РФ.