Senior Data Platform Engineer — Remote Europe

Clera; United States; À distance; USD 100 000 - 140 000; Plein temps

Résumé du poste

Clera ищет инженера платформы данных для проектирования и реализации многоисточниковой инфраструктуры, которая обрабатывает параллельную ин_ingest и событийную обработку. Вы будете владеть архитектурой, ингерестом и эксплуатацией, поддерживая продукты за счет доверенного data.

Ключевые задачи включают создание pipeline, работу с API, вебхуками, файлами и скрейпингом, использование Airflow/Dagster/Prefect, а также обеспечение качества и мониторинга данных. Опыт работы с dbt и GCP приветствуется.

Qualifications

• 5+ лет построения и эксплуатации производственных дата-платформ, интегрирующих несколько источников.
• Опыт оркестрации рабочих процессов с зависимостями, retries и восстановлением.
• Практический опыт dbt и Google Cloud Platform.
• Сильные навыки Python, включая асинхронность и параллельную обработку.
• Сильные SQL и PostgreSQL навыки, моделирование данных и инкрементальная загрузка.
• Опыт работы с системами событийного обмена, очередями, контрактами данных, ретенцией и мониторингом.
• Опыт создания платформ или крупных пайплайнов с нуля.
• Web scraping, верификация сущностей, BigQuery, Dataform и LLM-экстракция будут полезны.

Responsabilités

• Спроектировать многоисточникную платформу данных для параллитной ингиестии и событийной обработки.
• Разрабатывать ингиест через API, вебхуки, файлы и веб-скрейпинг с учетом лимитов и обработки ошибок.
• Оркестрация расписных пайплайнов и исторических backfill через Airflow, Dagster, Prefect или аналоги.
• Разработка обработчика событий с очередями и ретраями, с повторной отправкой и dead-letter.
• Сохранение исходных payload в Google Cloud Storage и преобразование через dbt в слои raw/curated.
• Определять контракты данных, валидацию, тесты пайплайнов и мониторинг.
• Оптимизация схем PostgreSQL и загрузочных паттернов, интеграция обогащения и LLM-выгрузки.

Connaissances

Python

Async HTTP

SQL

PostgreSQL

Google Cloud

BigQuery

Airflow

Dagster

Prefect

dbt

Data Contracts

Testing & Monitoring

Outils

Airflow

Dagster

Prefect

dbt

Google Cloud Platform

BigQuery

Dataform

Description du poste

Clera ищет инженера платформы данных для проектирования и реализации многоисточниковой инфраструктуры, которая обрабатывает параллельную ин_ingest и событийную обработку. Вы будете владеть архитектурой, ингерестом и эксплуатацией, поддерживая продукты за счет доверенного data.

Ключевые задачи включают создание pipeline, работу с API, вебхуками, файлами и скрейпингом, использование Airflow/Dagster/Prefect, а также обеспечение качества и мониторинга данных. Опыт работы с dbt и GCP приветствуется.