Data-engineer - Системы и Алгоритмы

Data Science Jobs; United States; Remote; USD 36,000 - 39,000; Full time

Job summary

Data Science Jobs ищет инженера данных для проектирования и внедрения устойчивой архитектуры хранения и обработки данных. Ваша работа будет включать подбор инструментов, проектирование пайплайнов и обеспечение качества данных на стеке Postgres, MSSQL, Kafka, Flink, Airflow, Iceberg и S3.

Требуется опыт 4+ лет в роли Data Engineer, знание Python и умение писать DAG и кастомные операторы в Airflow. Предусмотрены возможности профессионального роста в международном масштабе, удаленная работа по РФ.

Qualifications

• Опыт работы на позиции Data Engineer от 4 лет в разработке ПО.
• Знание архитектуры данных, пайплайнов и качественного хранения данных.
• Уверенное владение Python, построение DAG/операторов в Airflow и интеграции.

Responsibilities

• Проектирование и внедрение инструментов хранения и обработки данных.
• Разработка пайплайнов и обеспечение качества данных.
• Работа с потоками данных через Kafka/Flink, настройка хранилищ и интеграций.

Skills

Python programming

Data architecture

SQL optimization

English docs

Jira/Confluence

Tools

Postgres

MSSQL

Kafka

Flink

Airflow

Iceberg

Trino/StarRocks

Cassandra

Redis

S3

Job description

Роль: Data-engineer

З/П: 270 000 - 295 000 р. gross

Формат работы: удаленно по РФ

Вид занятости: full-time

Локация: любой город РФ

Гражданство: РФ

Преимущества позиции:

• Участие в масштабном проекте цифровой трансформации, влияющем на ключевые производственные процессы.
• Возможность увидеть результаты своей работы на реальном производстве, включая реальные системы, терминалы, интеграции.
• Доступ к команде зрелых разработчиков и проектной поддержке: Team Lead, Product Owner, Project Manager.
• Пространство для инициатив, развития и расширения зоны ответственности.

Краткое описание роли:

Ищем инженера данных с сильными компетенциями архитектора данных и баз данных, который сможет взять на себя планирование и проведение внедрения инструментов хранения и обработки данных. Должно иметь подтвержденный опыт работы с нашим технологическим стеком (Postgres, MSSQL, Kafka, Flink, Airflow, Iceberg, Trino/StarRocks), уметь проектировать целевую архитектуру хранилищ, анализировать потоки данных и выбирать релевантный инструментарий. Критичны навыки работы с современными data-инструментами, опыт проектирования пайплайнов, обеспечения качества данных и уверенное владение Python для написания DAG, кастомных операторов и интеграций.

Что ждём от вас:

• Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
• Опыт работы с ключевыми компонентами нашего стека:
• ODBMS/DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).
• Data Flow Tools: практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).
• Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.
• CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами.
• Глубокие знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning).
• Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors.
• Навыки оптимизации: умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку.
• Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации).
• Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity).
• Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC).
• Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+).
• Опыт заведения и сопровождения заявок вService-Desk.
• Умение структурировать информацию, работать с требованиями, документировать технические решения.
• Английский — на уровне чтения и написания технической документации.

Будет плюсом:

• Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.).
• Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде.
• Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE).
• Опыт работы с CI/CD для data-пайплайнов.
• Понимание принципов DDD, event-driven архитектуры.
• Опыт работы с Apache NiFi.

Контакты для связи:

• @Serg06SA
• [phone]