Data Engineer

Enfint; Deutschland; Remote; EUR 70.000 - 110.000; Vollzeit

Benefits dieser Stelle

ДМС со стоматологией

Частичная компенсация затрат на спорт

Больничные

Оплачиваемый бенч

Компенсация расходов на коворкинг

Корпоративные мероприятия

Менторство и адаптация

Zusammenfassung

ASTON ищет опытного Data Engineer для разработки и поддержки конвейеров обработки данных. Основной фокус — PySpark, Airflow и работа с распределёнными системами Hadoop/Spark. Требуется глубокие знания SQL, опыт оптимизации запросов и владение технологиями Kafka, Iceberg и S3.

Кандидат будет работать над сложными проектами в условиях распределённых систем. Предлагаются конкурентная заработная плата, оформление по трудовому кодексу РФ, а также набор бонусов и корпоративных мероприятий.

Qualifikationen

• Опыт работы Data Engineer от 4 лет
• Отличные знания SQL и опыт оптимизации сложных запросов
• Знание основ математической статистики, анализа данных и машинного обучения
• Глубокая экспертиза в PySpark и написании сценариев Airflow
• Опыт работы с высоконагруженными распределёнными системами обработки и хранения данных на базе Hadoop
• Опыт работы с PostgreSQL, MS-SQL, Oracle и ClickHouse
• Опыт оптимизации Spark-приложений и управления ресурсами Spark
• Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka и S3
• Опыт работы с контейнеризацией и оркестрацией в Kubernetes (K8s)
• Опыт проведения нагрузочного тестирования систем обработки данных
• Умение работать в условиях распределённых систем

Aufgaben

• Обеспечивать консистентность данных при автоматическом определении типов схем
• Разрабатывать и поддерживать пайплайны данных на PySpark и Airflow
• Оптимизировать производительность запросов и распределённых процессов
• Работать с Kafka, Iceberg и S3 для потоковой и пакетной обработки
• Сотрудничать с командами внутри компании по развитию дата-решений

Kenntnisse

SQL

PySpark

Airflow

Data analysis

Machine learning basics

Distributed systems

Performance optimization

Tools

PostgreSQL

MS-SQL

Oracle

ClickHouse

Hadoop

Spark

Kafka

S3

Iceberg

Kubernetes

Spark Streaming

Jobbeschreibung

Описание: ASTON — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Компания разрабатывает программное обеспечение и IT-решения для сфер Finance, Healthcare, eCommerce, IoT, Media, Big Data и ML.

Задачи

Обеспечивать консистентность данных при автоматическом определении типов схем.

Требования

• Опыт работы в роли Data Engineer от 4-х лет;
• Отличные знания SQL и опыт оптимизации сложных запросов;
• Знание основ математической статистики, анализа данных и машинного обучения;
• Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow;
• Опыт работы с высоконагруженными распределёнными системами обработки и хранения данных на базе Hadoop;
• Опыт работы с PostgreSQL, MS-SQL, Oracle и ClickHouse;
• Опыт оптимизации Spark-приложений и управления ресурсами Spark;
• Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka и S3;
• Опыт работы с контейнеризацией и оркестрацией в Kubernetes (K8s);
• Опыт проведения нагрузочного тестирования систем обработки данных;
• Умение работать в условиях распределённых систем.

Условия

• Конкурентная зарплата, сумму обсуждают отдельно с каждым кандидатом;
• Оформление по ТК РФ;
• Проекты от топовых компаний;
• DМС со стоматологией;
• Частичная компенсация затрат на спорт;
• Sick-days;
• Оплачиваемый бенч;
• Компенсация расходов на коворкинг;
• Прозрачная система Performance Review;
• Ментор на всё время работы;
• Поэтапная адаптация новых сотрудников;
• Доплаты за менторство, ведение обучающих курсов, ревью проектов и участие в других профессиональных активностях;
• Корпоративный портал с материалами для обучения и развития;
• Технические митапы и конференции;
• Корпоративы и тимбилдинги;
• Детские праздники и мастер-классы с подарками и сладостями для семей сотрудников.