Data Engineer на Hadoop и Scala

Medialogia; United States; Remote; USD 120,000 - 170,000; Full time

Job summary

Medialogia ищет инженера данных для разработки и оптимизации ETL/ELT конвейеров над большими данными. В задачи входит настройка инфраструктуры Hadoop и Spark, оптимизация распределённых вычислений и запросов, работа с потоковыми данными через Kafka и Spark Streaming.

Требуется опыт работы с Java или Scala, знание экосистемы Hadoop и SQL/NoSQL. Преимущество — PySpark, Airflow и другие современные инструменты для обработки данных. График 5/2, полная занятость.

Qualifications

• Требуется высшее образование или его эквивалент.
• Опыт работы с Java или Scala и фреймворками Big Data (Spark, Hadoop).
• Глубокие знания экосистемы Hadoop (YARN, HDFS, Hive, HBase, Parquet).
• Опыт оптимизации распределённых систем и потоковой обработки данных (Kafka, Spark Streaming).
• Умение работать с SQL и NoSQL (PostgreSQL, MS SQL, MongoDB).
• Преимущество: PySpark, Airflow, Elasticsearch, ClickHouse, Vertica, настройка кластеров.

Responsibilities

• Разрабатывать и оптимизировать ETL/ELT конвейеры для больших данных.
• Настраивать и администрировать инфраструктуру Hadoop и Spark (HDFS, YARN, Hive, HBase).
• Оптимизировать распределённые вычисления и запросы.
• Работать с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).
• Участвовать в проектировании и масштабировании архитектуры данных.
• Автоматизировать процессы с использованием DevOps практик (Docker, CI/CD).

Skills

Java/Scala

Big Data

SQL

NoSQL

Education

Высшее или неоконченное высшее образование

Tools

Apache Spark

Hadoop

HDFS

YARN

Hive

HBase

Parquet

Kafka

Spark Streaming

Airflow

Elasticsearch

ClickHouse

Flink

Job description

Описание: Описания нет

Задачи

• Разрабатывать и оптимизировать ETL/ELT-конвейеры для обработки больших данных
• Настраивать и администрировать инфраструктуру Hadoop и Spark (HDFS, YARN, Hive, HBase)
• Оптимизировать распределённые вычисления и запросы
• Работать с потоковыми данными (Kafka, Spark Streaming, RabbitMQ)
• Участвовать в проектировании и масштабировании архитектуры данных
• Автоматизировать процессы с использованием практик DevOps (Docker, CI/CD)

Требования

• Высшее или неоконченное высшее образование
• Опыт работы с Java или Scala и фреймворками Big Data (Apache Spark, Hadoop)
• Глубокое знание экосистемы Hadoop (YARN, HDFS, Hive, HBase, Parquet)
• Опыт оптимизации производительности распределённых систем
• Опыт потоковой обработки данных (Kafka, Spark Streaming)
• Навыки работы с SQL и NoSQL (PostgreSQL, MS SQL, MongoDB)
• Будет плюсом: опыт работы с PySpark, Flink, Airflow, Elasticsearch, ClickHouse, Vertica, а также навыки настройки кластеров и инфраструктуры

Условия

График 5/2