Data Engineer платформы данных на lakehouse

Flowwow; United States; À distance; USD 140 000 - 210 000; Plein temps

Résumé du poste

Flowwow ищет старшего инженера по данным для развития ядра платформы и архитектурной поддержки Data Vault, API-интерфейсов и интеграций с lakehouse технологиями. Вы будете проектировать API-библиотеки на Python, внедрять AI-инструменты и наставлять команду в подходах к качеству данных.

Требуется опыт работы с Iceberg/Delta/Hudi, Trino и Airflow, знание Spark/PySpark, SQL и CI/CD. График 5/2, работа в команде над устойчивой инфраструктурой.

Qualifications

• Опыт не менее 5 лет в инженерии данных или бэкенд-разработке с упором на данные.
• Опыт эксплуатации производственных систем под нагрузкой и ответственность за их эксплуатацию.
• Уверенное владение Python: ООП, проектирование API-библиотек, типизация, тесты, создание переиспользуемых компонентов.
• Опыт работы с lakehouse-стеком: Iceberg, Delta Lake или Hudi, организация таблиц, snapshots, компракция, эволюция схем.
• Понимание различий lakehouse и классического DWH.
• Опыт работы с Trino или аналогичным MPP-движком: распределённое выполнение, планы запросов, оптимизация, коннекторы.
• Глубокие знания Apache Airflow: scheduler, executors, метаданные, собственные операторы и хуки.
• Опыт работы со Spark, PySpark и Spark SQL, понимание модели выполнения.
• Продвинутый SQL: оконные функции, CTE, оптимизация, большие объёмы данных.
• Уверенное владение Git и CI/CD.
• Плюсом будет: опыт разработки внутренних инструментов, AI-native подход, Kubernetes, Helm, CDC, Debezium, Kafka Connect, Parquet, data masking.

Responsabilités

• Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow и инструменты lineage.
• Проектировать API для других инженеров и отвечать за них.
• Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов и обёртки над инфраструктурой.
• Работать с lakehouse: обслуживать Iceberg, оптимизировать размещение таблиц, настраивать Trino и создавать Spark-джобы для тяжёлых трансформаций.
• Строить интеграции с источниками: OLTP-базы, REST/gRPC API, Kafka, файловыми хранилищами и SaaS-системами.
• Проектировать унифицированные интерфейсы для подключения источников.
• Внедрять AI в инженерные процессы: развивать агентов для расследования инцидентов и анализа качества данных, а также ассистентов для DAG'ов и проверки кода.
• Участвовать в архитектурных решениях: выбирать технологии, проектировать интерфейсы между компонентами и распространять лучшие практики в команде.
• Проводить проверку кода и наставлять менее опытных коллег.

Connaissances

Python

API design

ООП

Тестирование

Lakehouse

Apache Iceberg

Delta Lake

Hudi

Trino

Airflow

Spark

Spark SQL

SQL

Git

CI/CD

Outils

Apache Iceberg

Delta Lake

Hudi

Trino

Airflow

Spark

PySpark

Spark SQL

Git

CI/CD

Description du poste

Описание: Описания нет

Задачи:

• Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow и инструменты lineage.
• Проектировать API для других инженеров и отвечать за них.
• Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов и обёртки над инфраструктурой.
• Работать с lakehouse: обслуживать Iceberg, оптимизировать размещение таблиц, настраивать Trino и создавать Spark-джобы для тяжёлых трансформаций.
• Строить интеграции с источниками: OLTP-базами, REST/gRPC API, Kafka, файловыми хранилищами и SaaS-системами.
• Проектировать унифицированные интерфейсы для подключения источников.
• Внедрять AI в инженерные процессы: развивать агентов для расследования инцидентов и анализа качества данных, а также ассистентов для DAG'ов и проверки кода.
• Участвовать в архитектурных решениях: выбирать технологии, проектировать интерфейсы между компонентами и распространять лучшие практики в команде.
• Проводить проверку кода и наставлять менее опытных коллег.

Требования:

• Промышленный опыт от 5 лет в инженерии данных или бэкенд-разработке с сильным уклоном в данные.
• Опыт работы с производственными системами под реальной нагрузкой и ответственность за их эксплуатацию.
• Уверенное владение Python: ООП, проектирование API библиотек, типизация, тесты и создание переиспользуемых компонентов.
• Практический опыт с lakehouse-стеком: Apache Iceberg или Delta/Hudi, устройство таблиц, snapshots, компакция и schema evolution.
• Понимание отличий lakehouse от классического DWH.
• Опыт работы с Trino или другим MPP-движком: распределённое выполнение, планы запросов, оптимизация и коннекторы.
• Глубокое знание Apache Airflow: scheduler, executors, метаданные, собственные операторы и хуки.
• Опыт работы с Apache Spark, PySpark и Spark SQL, понимание модели выполнения.
• Продвинутый SQL: оконные функции, CTE, оптимизация, планы исполнения и большие объёмы данных.
• Уверенное владение Git и CI/CD.
• Будет плюсом: опыт разработки внутренних платформенных инструментов или фреймворков, AI-native подход, использование Claude Code или Codex, создание harness-систем, агентов, автоматизации через LLM и RAG, Kubernetes, Helm, CDC, Debezium, Kafka Connect, стриминговые пайплайны, Parquet, OPA, row-level security и маскирование данных.

Условия:

• Оформление по трудовому договору
• График 5/2