Senior Data Engineer: AI-Driven Lakehouse & Pipelines

Flowwow; United States; Remote; USD 140,000 - 210,000; Full time

Job summary

Flowwow ищет старшего инженера по данным для развития ядра платформы и архитектурной поддержки Data Vault, API-интерфейсов и интеграций с lakehouse технологиями. Вы будете проектировать API-библиотеки на Python, внедрять AI-инструменты и наставлять команду в подходах к качеству данных.

Требуется опыт работы с Iceberg/Delta/Hudi, Trino и Airflow, знание Spark/PySpark, SQL и CI/CD. График 5/2, работа в команде над устойчивой инфраструктурой.

Qualifications

• Опыт не менее 5 лет в инженерии данных или бэкенд-разработке с упором на данные.
• Опыт эксплуатации производственных систем под нагрузкой и ответственность за их эксплуатацию.
• Уверенное владение Python: ООП, проектирование API-библиотек, типизация, тесты, создание переиспользуемых компонентов.
• Опыт работы с lakehouse-стеком: Iceberg, Delta Lake или Hudi, организация таблиц, snapshots, компракция, эволюция схем.
• Понимание различий lakehouse и классического DWH.
• Опыт работы с Trino или аналогичным MPP-движком: распределённое выполнение, планы запросов, оптимизация, коннекторы.
• Глубокие знания Apache Airflow: scheduler, executors, метаданные, собственные операторы и хуки.
• Опыт работы со Spark, PySpark и Spark SQL, понимание модели выполнения.
• Продвинутый SQL: оконные функции, CTE, оптимизация, большие объёмы данных.
• Уверенное владение Git и CI/CD.
• Плюсом будет: опыт разработки внутренних инструментов, AI-native подход, Kubernetes, Helm, CDC, Debezium, Kafka Connect, Parquet, data masking.

Responsibilities

• Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow и инструменты lineage.
• Проектировать API для других инженеров и отвечать за них.
• Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов и обёртки над инфраструктурой.
• Работать с lakehouse: обслуживать Iceberg, оптимизировать размещение таблиц, настраивать Trino и создавать Spark-джобы для тяжёлых трансформаций.
• Строить интеграции с источниками: OLTP-базы, REST/gRPC API, Kafka, файловыми хранилищами и SaaS-системами.
• Проектировать унифицированные интерфейсы для подключения источников.
• Внедрять AI в инженерные процессы: развивать агентов для расследования инцидентов и анализа качества данных, а также ассистентов для DAG'ов и проверки кода.
• Участвовать в архитектурных решениях: выбирать технологии, проектировать интерфейсы между компонентами и распространять лучшие практики в команде.
• Проводить проверку кода и наставлять менее опытных коллег.

Skills

Python

API design

ООП

Тестирование

Lakehouse

Apache Iceberg

Delta Lake

Hudi

Trino

Airflow

Spark

Spark SQL

SQL

Git

CI/CD

Tools

Apache Iceberg

Delta Lake

Hudi

Trino

Airflow

Spark

PySpark

Spark SQL

Git

CI/CD

Job description

Flowwow ищет старшего инженера по данным для развития ядра платформы и архитектурной поддержки Data Vault, API-интерфейсов и интеграций с lakehouse технологиями. Вы будете проектировать API-библиотеки на Python, внедрять AI-инструменты и наставлять команду в подходах к качеству данных.

Требуется опыт работы с Iceberg/Delta/Hudi, Trino и Airflow, знание Spark/PySpark, SQL и CI/CD. График 5/2, работа в команде над устойчивой инфраструктурой.