Data engineer in gaming

АКСЕЛБОЛТ КАЗАХСТАН; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

АКСЕЛБОЛТ КАЗАХСТАН приглашает в команду инженера по данным. Команда Data Engineering отвечает за инфраструктуру данных: сбор, хранение и обработку игровых и продуктовых метрик, чтобы аналитики и продуктовые команды могли работать с данными быстро и надёжно.

Вакансия предполагает разработку DAG Airflow, настройку CDC-процессов, создание витрин и трансформаций в Flink, контроль качества данных и взаимодействие с облачными сервисами AWS.

Qualifications

• Уверенные знания Python и Java.
• Глубокое знание SQL и опыт работы с аналитическими витринами.
• Опыт работы с Kafka, Airflow, dbt, Great Expectations, Flink, Trino/Presto, Hive, MongoDB, PostgreSQL и AWS.

Responsibilities

• Разрабатывать и поддерживать DAG’и для Apache Airflow.
• Настраивать CDC-процессы для передачи продакшн-данных в аналитическое хранилище.
• Разрабатывать/оптимизировать витрины данных с использованием SQL.
• Разрабатывать трансформации данных на базе Apache Flink.
• Следить за качеством данных с помощью инструментов Data Quality и оптимизировать обработку.

Skills

Python

Java

SQL

Kafka

Airflow

dbt

Great Expectations

Flink

Trino/Presto

Hive

MongoDB

PostgreSQL

AWS

Tools

Docker

Kubernetes

Job description

Описание:

Data Engineering-команда отвечает за инфраструктуру данных: сбор, хранение и обработку игровых и продуктовых метрик. Мы помогаем аналитикам и продуктовым командам работать с данными быстро, стабильно и в нужном объеме.

Задачи:

• Разрабатывать и поддерживать DAG’и для Apache Airflow
• Настраивать процессы CDC (Change Data Capture) для передачи продакшн-данных в аналитическое хранилище
• Разрабатывать/оптимизировать витрины данных с использованием SQL для аналитических задач
• Разрабатывать трансформации данных на базе Apache Flink
• Следить за качеством данных с помощью инструментов Data Quality и оптимизировать их обработку

Требования:

• Уверенные знания Python, Java
• Глубокое понимание и умение работать с SQL
• Опыт работы с Apache Kafka, Apache Airflow, dbt, Great Expectations, Apache Flink, Apache Trino/Presto, Hive, Docker, MongoDB, PostgreSQL, AWS
• Будет плюсом: Опыт работы с Apache Spark, Kubernetes, CI/CD, Helm, Terraform; Навыки программирования на Scala

Условия:

• Возможность влиять на продукт и решения внутри команды
• Шанс внести свой вклад в продвижение игр, в которые играют миллионы игроков ежемесячно
• Прямую коммуникацию без лишней бюрократии
• Команду, где принято делиться опытом и поддерживать друг друга
• Атмосферу свободы и открытости
• Заботу о сотрудниках, которую вы заметите и в личном отношении, и через полезные бенефиты
• Официальное оформление
• Возможность работать из комфортабельных офисов в разных странах или удаленно
• Гибкий подход к формату и месту работы
• Медицинское страхование, чекапы, компенсация сессий с психологом
• Помогаем расти в профессии – корпоративная библиотека, внутренние курсы, английский от SkyEng, возможность учиться и посещать профильные мероприятия за счет компании
• Вся необходимая техника – даем в пользование ноутбук, программы и лицензии, а также другую нужную технику для работы
• Скидки на фитнес, спортзал в офисах, компенсация участия в спортивных соревнованиях