Data инженер в интеграционных средах

SkillStaff; United States; Hybrid; USD 120.000 - 180.000; Vollzeit

Zusammenfassung

SkillStaff ищет Data инженера в команду развития интеграционной среды и корпоративных данных. Вы будете участвовать во вводе единого интеграционного слоя, развитии витрины DMDC и автоматизации подключения источников данных.

Требуется глубокая экспертиза в PySpark и Airflow, опыт с Hadoop, Spark, Kafka, Kubernetes и SQL, а также навыки работы с Iceberg и S3. Возможна удаленная работа или работа в офисе клиента, а также офис SkillStaff в центре Москвы.

Qualifikationen

• Глубокая экспертиза в PySpark и Airflow.
• Опыт работы с распределёнными системами обработки данных (Hadoop).
• Навыки конфигурации и оптимизации Spark-приложений.
• Опыт со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
• Навыки Kubernetes и нагрузочного тестирования.
• Экспертное владение SQL и оптимизацией запросов.
• Базовые знания статистики и ML (PyTorch, TensorFlow).
• Умение обеспечивать консистентность данных.

Aufgaben

• Развивать интеграционную среду: подключать метаданные к Единому слою и витрине DMDC.
• Создавать шаблоны подключения к СУБД: PostgreSQL, Oracle, MS SQL, ClickHouse, DB2, Elasticsearch, Tarantool.
• Разрабатывать Python-скрипты для генерации DDL/DML.
• Разрабатывать и поддерживать Airflow DAG для загрузки и обслуживания данных.
• Исправлять ошибки потоков и повышать их надежность.
• Разрабатывать DAG для обслуживания таблиц Iceberg с кастомными операторами.
• Дорабатывать витрину DMDC для поддержки каталога данных.

Kenntnisse

PySpark

Airflow

Hadoop

Spark optimization

Kafka

Kubernetes

SQL

Machine learning basics

Tools

Iceberg

Jobbeschreibung

Описание

Мы находимся в поиске Data инженерa в команду развития интеграционной среды и корпоративных данных. Вы будете участвовать в построении единого интеграционного слоя, развитии витрины DMDC и автоматизации подключения источников данных.

Задачи

• Развивать интеграционную среду: подключать метаданные информационных систем к Единому интеграционному слою и витрине DMDC.
• Создавать шаблоны в платформе управления метаданными для подключения ключевых типов СУБД: PostgreSQL, Oracle, MS SQL, ClickHouse, DB2, Elasticsearch, Tarantool.
• Проектировать и разрабатывать Python-скрипты для автоматической генерации DDL/DML-запросов.
• Разрабатывать и поддерживать Airflow DAG для процессов загрузки и обслуживания данных.
• Исправлять ошибки существующих потоков и повышать их надежность.
• Разрабатывать Airflow DAG для обслуживания таблиц Iceberg, в том числе с использованием кастомных операторов для оптимизации чтения при большом количестве delete-файлов.
• Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.
• Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.

Требования

• Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
• Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).
• Практические навыки конфигурации и оптимизации Spark-приложений, управления ресурсами Spark.
• Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
• Навыки работы с контейнеризацией и оркестрацией в Kubernetes.
• Опыт проведения нагрузочного тестирования систем обработки данных.
• Экспертное владение SQL и навыки оптимизации сложных запросов.
• Понимание основ математической статистики, анализа данных и машинного обучения (PyTorch, TensorFlow).
• Умение работать с распределенными системами и обеспечивать консистентность данных при автоматическом определении типов схем.

Условия

Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!