data engineer витрин данных

Usetech; United States; Remote; USD 90,000 - 150,000; Full time

Benefits offered by this job

Расширенный полис ДМС со стоматологией

Гибкий график

Обучение и сертификация

Клуб английского языка

Геймифицированная программа лояльности

Job summary

Usetech ищет инженера по данным для анализа и развития витрин данных. Ваша роль включает миграцию витрин с Hadoop на Iceberg, Spark 3.5 и Airflow, реализацию недостающих реплик и переработку решений на целевом стеке. Требуется глубокий опыт работы с Hadoop/S3, Iceberg, Airflow и Apache Spark.

Ориентированные на качество проекты сопровождаются гибким графиком, обучением и сертификацией. Ваша задача — строить надёжные pipelines, документировать процессы и активное участие в тестировании.

Qualifications

• Уверенное владение SQL и Python
• Опыт работы с Apache Spark
• Практический опыт работы с Hadoop или S3
• Знание Apache Iceberg и опыт работы с ним
• Опыт использования Apache Airflow
• Понимание форматов хранения данных (например Parquet)
• Опыт работы с Git, CI/CD, Jira и Confluence
• Базовые знания Kafka

Responsibilities

• Анализировать существующие решения и витрины данных
• Мигрировать витрины данных со стека Hadoop на стек Apache Iceberg, Spark 3.5 и Apache Airflow
• Реализовывать недостающие реплики для витрин данных
• Перерабатывать существующие решения на целевом стеке
• Строить и развивать витрины данных, участвовать в тестировании
• Наполнять и актуализировать техническую документацию

Skills

SQL

Python

Kafka

Tools

Git

CI/CD

Jira

Confluence

Job description

Описания

Описания нет

Задачи

• Анализировать существующие решения и витрины данных
• Мигрировать витрины данных со стека Hadoop на стек Apache Iceberg, Spark 3.5 и Apache Airflow
• Реализовывать недостающие реплики для витрин данных
• Перерабатывать существующие решения на целевом стеке
• Строить и развивать витрины данных, участвовать в тестировании
• Наполнять и актуализировать техническую документацию

Требования

• Уверенно знать SQL и Python
• Иметь опыт работы с Apache Spark
• Иметь практический опыт работы с хранилищами данных на базе Hadoop или S3
• Знать Apache Iceberg и иметь опыт работы с ним
• Иметь опыт использования Apache Airflow
• Понимать форматы хранения данных, в том числе Parquet
• Иметь опыт работы с Git, CI/CD, Jira и Confluence
• Иметь базовые знания Kafka

Условия

• Расширенный полис ДМС со стоматологией
• Гибкий график
• Обучение и сертификация
• Клуб английского языка
• Геймифицированная программа лояльности