data engineer голосовых и текстовых коммуникаций

Enfint; Deutschland; Remote; EUR 70.000 - 120.000; Vollzeit

Benefits dieser Stelle

ДМС со стоматологией

Оплачиваемые sick-days

Материалы для обучения и развития

Zusammenfassung

ASTON приглашает опытного Data Engineer на работу над проектами крупнейшего банка страны. Вы будете интегрировать источники данных голосовых и текстовых коммуникаций, реализовывать пакетные и потоковые сервисы обработки данных и работать в тесном взаимодействии с аналитиками и командой инфраструктуры.

Требуется 4+ года опыта, сильные навыки Python, Spark, Kafka и SQL. Компания предлагает современный стек, конкурентную зарплату и оформление по ТК РФ.

Qualifikationen

• Опыт работы Data Engineer от 4 лет и более.
• Глубокие знания SQL, аналитической обработки и OLAP.
• Опыт работы с распределёнными вычислениями и пайплайнами на Python.

Aufgaben

• Интегрировать источники данных по голосовым и текстовым коммуникациям клиентов.
• Разрабатывать пакетные и потоковые сервисы обработки данных для оценки качества взаимодействий.
• Сотрудничать в составе команды с аналитиками данных и инфраструктуры.

Kenntnisse

Аналитика данных

SQL

REST API взаимодействие

Командная работа

Tools

Python

Apache Spark

Pyspark

Apache Kafka

aiokafka

confluent-kafka

kafka-python

aiohttp

httpx

Oracle

PostgreSQL

Hadoop/HDFS

S3

Hive

Iceberg

Parquet

ORC

JupyterLab

JupyterHub

Jobbeschreibung

Описание

ASTON - аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Компания разрабатывает программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data и ML. Работа проходит над проектом крупнейшего коммерческого банка страны, который развивает мобильные сервисы и цифровые продукты.

Задачи

• Интегрировать источники данных по голосовым и текстовым коммуникациям клиентов со специалистами обслуживания и поддержки
• Реализовать пакетные и потоковые сервисы обработки данных для оценки качества коммуникаций
• Взаимодействовать в составе команды со специалистами по анализу данных и развитию инфраструктуры

Требования

• Опыт работы в роли Data Engineer от 4 лет
• Опыт анализа данных
• Высокий уровень знаний Python
• Опыт работы в JupyterLab или JupyterHub
• Опыт реализации промышленных отказоустойчивых сервисов на Python
• Понимание принципов микросервисной архитектуры
• Понимание принципов распределённых вычислений и обработки данных
• Понимание принципов потоковой обработки данных
• Хорошие знания Apache Spark и опыт использования Pyspark
• Знание и опыт использования Apache Kafka, включая библиотеки aiokafka, confluent-kafka, kafka-python и Apache Spark Structured Streaming
• Опыт асинхронного взаимодействия с веб-сервисами по REST API с использованием aiohttp и httpx
• Отличные знания SQL, включая сложные запросы с CTE и оконными функциями
• Хорошие знания и опыт использования Oracle и PostgreSQL
• Понимание обработки и хранения аналитических данных OLAP, различий колоночных и строковых баз данных, форматов parquet и orc
• Хорошие знания и опыт использования Hadoop/HDFS, S3, Hive и Iceberg
• Проактивный подход к работе
• Позитивный настрой и активная жизненная позиция
• Умение и желание работать в команде, делиться опытом и учиться новым практикам
• Открытость в коммуникации трудностей, препятствующих решению задач

Условия

• Возможность повышения квалификации на проекте одного из лидеров рынка
• Современный технический стек
• Конкурентная зарплата, сумма обсуждается отдельно
• Оформление по ТК РФ
• ДМС со стоматологией
• Частичная компенсация затрат на спорт
• Оплачиваемые sick-days
• Оплачиваемый бенч
• Компенсация расходов на коворкинг
• Прозрачная система Performance Review
• Ментор на всё время работы
• Поэтапная адаптация новых сотрудников
• Доплаты за менторство, ведение обучающих курсов, ревью проектов и участие в других профессиональных активностях
• Материалы для обучения и развития на корпоративном портале
• Технические митапы и конференции
• Корпоративы и тимбилдинги
• Детские праздники и мастер-классы с подарками и сладостями для семей сотрудников