Data Engineer на Hadoop и Scala | Big Data, Spark, Kafka

Medialogia; United States; Remote; USD 120,000 - 170,000; Full time

Job summary

Medialogia ищет инженера данных для разработки и оптимизации ETL/ELT конвейеров над большими данными. В задачи входит настройка инфраструктуры Hadoop и Spark, оптимизация распределённых вычислений и запросов, работа с потоковыми данными через Kafka и Spark Streaming.

Требуется опыт работы с Java или Scala, знание экосистемы Hadoop и SQL/NoSQL. Преимущество — PySpark, Airflow и другие современные инструменты для обработки данных. График 5/2, полная занятость.

Qualifications

• Требуется высшее образование или его эквивалент.
• Опыт работы с Java или Scala и фреймворками Big Data (Spark, Hadoop).
• Глубокие знания экосистемы Hadoop (YARN, HDFS, Hive, HBase, Parquet).
• Опыт оптимизации распределённых систем и потоковой обработки данных (Kafka, Spark Streaming).
• Умение работать с SQL и NoSQL (PostgreSQL, MS SQL, MongoDB).
• Преимущество: PySpark, Airflow, Elasticsearch, ClickHouse, Vertica, настройка кластеров.

Responsibilities

• Разрабатывать и оптимизировать ETL/ELT конвейеры для больших данных.
• Настраивать и администрировать инфраструктуру Hadoop и Spark (HDFS, YARN, Hive, HBase).
• Оптимизировать распределённые вычисления и запросы.
• Работать с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).
• Участвовать в проектировании и масштабировании архитектуры данных.
• Автоматизировать процессы с использованием DevOps практик (Docker, CI/CD).

Skills

Java/Scala

Big Data

SQL

NoSQL

Education

Высшее или неоконченное высшее образование

Tools

Apache Spark

Hadoop

HDFS

YARN

Hive

HBase

Parquet

Kafka

Spark Streaming

Airflow

Elasticsearch

ClickHouse

Flink

Job description

Medialogia ищет инженера данных для разработки и оптимизации ETL/ELT конвейеров над большими данными. В задачи входит настройка инфраструктуры Hadoop и Spark, оптимизация распределённых вычислений и запросов, работа с потоковыми данными через Kafka и Spark Streaming.

Требуется опыт работы с Java или Scala, знание экосистемы Hadoop и SQL/NoSQL. Преимущество — PySpark, Airflow и другие современные инструменты для обработки данных. График 5/2, полная занятость.