Data Showcases Engineer | Spark, Iceberg & Airflow

Usetech; United States; Remote; USD 90,000 - 150,000; Full time

Benefits offered by this job

Расширенный полис ДМС со стоматологией

Гибкий график

Обучение и сертификация

Клуб английского языка

Геймифицированная программа лояльности

Job summary

Usetech ищет инженера по данным для анализа и развития витрин данных. Ваша роль включает миграцию витрин с Hadoop на Iceberg, Spark 3.5 и Airflow, реализацию недостающих реплик и переработку решений на целевом стеке. Требуется глубокий опыт работы с Hadoop/S3, Iceberg, Airflow и Apache Spark.

Ориентированные на качество проекты сопровождаются гибким графиком, обучением и сертификацией. Ваша задача — строить надёжные pipelines, документировать процессы и активное участие в тестировании.

Qualifications

• Уверенное владение SQL и Python
• Опыт работы с Apache Spark
• Практический опыт работы с Hadoop или S3
• Знание Apache Iceberg и опыт работы с ним
• Опыт использования Apache Airflow
• Понимание форматов хранения данных (например Parquet)
• Опыт работы с Git, CI/CD, Jira и Confluence
• Базовые знания Kafka

Responsibilities

• Анализировать существующие решения и витрины данных
• Мигрировать витрины данных со стека Hadoop на стек Apache Iceberg, Spark 3.5 и Apache Airflow
• Реализовывать недостающие реплики для витрин данных
• Перерабатывать существующие решения на целевом стеке
• Строить и развивать витрины данных, участвовать в тестировании
• Наполнять и актуализировать техническую документацию

Skills

SQL

Python

Kafka

Tools

Git

CI/CD

Jira

Confluence

Job description

Usetech ищет инженера по данным для анализа и развития витрин данных. Ваша роль включает миграцию витрин с Hadoop на Iceberg, Spark 3.5 и Airflow, реализацию недостающих реплик и переработку решений на целевом стеке. Требуется глубокий опыт работы с Hadoop/S3, Iceberg, Airflow и Apache Spark.

Ориентированные на качество проекты сопровождаются гибким графиком, обучением и сертификацией. Ваша задача — строить надёжные pipelines, документировать процессы и активное участие в тестировании.