Data Engineer

Clera; United States; Remote; USD 100,000 - 140,000; Full time

Job summary

Clera ищет инженера платформы данных для проектирования и реализации многоисточниковой инфраструктуры, которая обрабатывает параллельную ин_ingest и событийную обработку. Вы будете владеть архитектурой, ингерестом и эксплуатацией, поддерживая продукты за счет доверенного data.

Ключевые задачи включают создание pipeline, работу с API, вебхуками, файлами и скрейпингом, использование Airflow/Dagster/Prefect, а также обеспечение качества и мониторинга данных. Опыт работы с dbt и GCP приветствуется.

Qualifications

• 5+ лет построения и эксплуатации производственных дата-платформ, интегрирующих несколько источников.
• Опыт оркестрации рабочих процессов с зависимостями, retries и восстановлением.
• Практический опыт dbt и Google Cloud Platform.
• Сильные навыки Python, включая асинхронность и параллельную обработку.
• Сильные SQL и PostgreSQL навыки, моделирование данных и инкрементальная загрузка.
• Опыт работы с системами событийного обмена, очередями, контрактами данных, ретенцией и мониторингом.
• Опыт создания платформ или крупных пайплайнов с нуля.
• Web scraping, верификация сущностей, BigQuery, Dataform и LLM-экстракция будут полезны.

Responsibilities

• Спроектировать многоисточникную платформу данных для параллитной ингиестии и событийной обработки.
• Разрабатывать ингиест через API, вебхуки, файлы и веб-скрейпинг с учетом лимитов и обработки ошибок.
• Оркестрация расписных пайплайнов и исторических backfill через Airflow, Dagster, Prefect или аналоги.
• Разработка обработчика событий с очередями и ретраями, с повторной отправкой и dead-letter.
• Сохранение исходных payload в Google Cloud Storage и преобразование через dbt в слои raw/curated.
• Определять контракты данных, валидацию, тесты пайплайнов и мониторинг.
• Оптимизация схем PostgreSQL и загрузочных паттернов, интеграция обогащения и LLM-выгрузки.

Skills

Python

Async HTTP

SQL

PostgreSQL

Google Cloud

BigQuery

Airflow

Dagster

Prefect

dbt

Data Contracts

Testing & Monitoring

Tools

Airflow

Dagster

Prefect

dbt

Google Cloud Platform

BigQuery

Dataform

Job description

Описание:

Join a data infrastructure and analytics team building a platform that turns information from multiple sources into reliable, current company intelligence. You will own the platform across architecture, ingestion, and production operations, supporting products with trusted data.

Задачи:

Design a multi-source data platform for concurrent ingestion, event-driven processing, and orchestrated batch workflows. Build ingestion from provider APIs, webhooks, files, and web scraping, with rate limits and robust failure handling. Orchestrate scheduled workflows and historical backfills using Airflow, Dagster, Prefect, or similar tools. Develop event-driven processing with messaging or task queues, including retries, dead-letter handling, and controlled replay. Preserve source payloads in Google Cloud Storage and transform them with dbt into raw, standardized, and curated layers. Implement idempotent upserts and safe retries to prevent duplicate records and data corruption. Define data contracts, validation, pipeline tests, and monitoring for freshness and failures. Optimize PostgreSQL schemas and loading patterns, and integrate enrichment and LLM-based structured extraction.

Требования:

• At least 5 years building and operating production data platforms that integrate multiple sources, with ownership from architecture through deployment and ongoing operations.
• Production experience with workflow orchestration, including dependencies, retries, and recovery; Airflow is preferred.
• Hands-on production experience with dbt and Google Cloud Platform.
• Strong Python skills, including asynchronous HTTP and concurrent processing with tools such as asyncio, aiohttp, or HTTPX.
• Strong SQL and PostgreSQL skills, including data modeling, query optimization, and incremental loading.
• Experience with event-driven systems, messaging or task queues, data contracts, raw and curated storage, retention policies, automated testing, and pipeline monitoring.
• Experience building platforms or substantial pipelines from scratch is valuable.
• Web scraping, entity resolution, BigQuery, Dataform, and LLM-based extraction are also relevant.

Условия:

• Base salary: $100,000 to $140,000 USD annually.
• Visa sponsorship is not available.
• Location Remote within Europe, including Norway, Switzerland, and the United Kingdom.