Data engineer for AI products

Сybersupremacy FZCO; États-Unis; À distance; USD 120 000 - 180 000; Plein temps

Avantages offerts par ce poste

Полностью удаленная работа

Résumé du poste

Сybersupremacy FZCO ищет Data Engineer для построения надежной инфраструктуры данных и поддержки интеграций. Роль hands-on, требования к собственным техническим решениям и практическому опыту в аналитике и AI-проектах.

Кандидат будет отвечать за проектирование хранилища, стабилизацию CDC и интеграцию данных из CRM, API и платежных систем, а также за разработку витрин и API для аналитики и внутренних продуктов.

Qualifications

• Опыт работы data engineer от 3 лет и выше.
• Глубокое владение SQL, PostgreSQL, репликация и резервное копирование.
• Опыт интеграции с REST API, вебхуками и инкрементальными загрузками.
• Python для коннекторов, автоматизации и обработки данных.
• Навыки Linux, Bash, SSH и Git, Docker и базовые знания Kubernetes.

Responsabilités

• Разрабатывать и поддерживать хранилище данных, стабилизировать CDC на Debezium и Kafka.
• Интегрировать данные из CRM, API, веб-аналитики и платежных систем.
• Строить слои raw→staging→marts, обеспечивать качество данных.
• Обеспечивать атрибуцию, логику учета и контроль актуальности данных.
• Документировать архитектуру и модели данных, настраивать мониторинг.

Connaissances

SQL (Advanced)

PostgreSQL

Python

Linux/Bash

Docker

Kubernetes

ETL/ELT пайплайны

Kafka/CDC

REST API интеграции

数据质量/дедупликация

Formation

Опыт Data Engineer ≥3 лет

Outils

Airbyte/Meltano/Fivetran

dbt/Airflow/Dagster

Bitrix24 интеграции

Description du poste

Описание

Мы — международная компания с головным офисом в Дубае (ОАЭ), разрабатывающая AI-решения для автоматизации клиентских коммуникаций, управления знаниями и оптимизации бизнес-процессов. Сейчас мы ищем Data Engineer, который поможет выстроить надежную инфраструктуру данных, стабилизировать существующие интеграции и развивать архитектуру данных для аналитики и AI-продуктов. Это hands-on роль для специалиста, который любит разбираться в сложных системах, самостоятельно принимать технические решения и видеть результат своей работы в реальных бизнес-процессах.

Задачи

Проектировать и поддерживать хранилище, стабилизировать CDC на базе Debezium и Kafka, обеспечивать надежность передачи данных.

Интегрировать данные из CRM, API, веб-аналитики, платежных систем и других источников, обеспечивать инкрементальную загрузку, дедупликацию и идемпотентность.

Выстраивать слои raw → staging → marts, стандартизировать структуры и обеспечивать качество данных.

Объединять данные от первого контакта клиента до оплаты, обеспечивать корректную маркетинговую атрибуцию (UTM, gclid, коллтрекинг, мессенджеры).

Логирование диалогов, отслеживание использования моделей и стоимости токенов, подготовка eval-датасетов, контроль актуальности данных.

Создавать витрины и API для аналитики, внутренних продуктов и AI-агентов.

Настраивать проверки полноты, свежести и согласованности данных, алерты и SLA.

Разграничение доступов, маскирование персональной информации и соблюдение политик хранения.

Документировать архитектуру, модели данных и интеграции.

Требования

Опыт работы в Data Engineering или смежных направлениях от 3 лет.

Уверенный SQL: сложные запросы, оконные функции, оптимизация производительности.

Глубокое понимание PostgreSQL: индексы, планы выполнения запросов, базовые принципы репликации и резервного копирования.

Практический опыт интеграции с REST API: пагинация, лимиты, ретраи, вебхуки, инкрементальные загрузки.

Python для разработки коннекторов, автоматизации и обработки данных.

Уверенная работа с Linux, Bash, SSH и Git.

Опыт работы с Docker и базовое понимание Kubernetes.

Понимание принципов построения надежных ETL/ELT-пайплайнов и моделирования данных.

Будет плюсом: Опыт с dbt, Airflow, Prefect или Dagster;

Практическая работа с Kafka, Debezium и CDC;

Интеграции с Bitrix24 или другими CRM-системами;

Опыт использования Airbyte, Meltano, Fivetran или аналогичных инструментов;

Понимание веб-аналитики, маркетинговой атрибуции и сквозной аналитики;

Опыт подготовки данных для ML/LLM-продуктов, работы с pgvector, embeddings и eval-пайплайнами;

Знакомство с AWS, GCP, Yandex Cloud, Terraform, Ansible;

Опыт работы с Prometheus, Grafana и n8n.

Условия

Возможность самостоятельно предлагать и внедрять технические решения. Сложные интеграции, нестабильные API, большие объемы данных и развитие инфраструктуры.

Данные используются не только для отчетности, но и напрямую влияют на работу LLM-решений.

Быстрые решения, самостоятельность и ориентация на результат.

Работа с разными рынками, сервисами и бизнес-процессами.

Полностью удаленная работа. 5/2, с 10:00 до 19:00 по времени ОАЭ (Dubai Time).

Контракт удаленного сотрудника. Выплаты в валюте на зарубежный банковский счет или другими способами по согласованию с сотрудником.