инженер по данным

NDA; United States; Remote; USD 120,000 - 160,000; Full time

Job summary

NDA ищет опытного инженера по интеграциям на Python для разработки кастомных коннекторов, миграций метаданных и оркестрации пайплайнов в Airflow. Кандидат должен уверенно писать на Python, владеть Pydantic и разбирать архитектуру Source→Sink в OpenMetadata.

Предпочтение кандидатам с опытом Kafka/RabbitMQ, gRPC, Protobuf и Redis, а также Docker, Kubernetes и CI/CD. Роль предполагает работу в продакшн и взаимодействие с командами.

Qualifications

• Опыт коммерческой разработки интеграций на Python от 3 лет
• Уверенное знание Python, включая Pydantic, классы и генераторы
• Понимание архитектуры Source → Sink в OpenMetadata
• Опыт работы с Airflow и SQL
• Знание AI-инструментов для создания каркасов коннекторов с помощью scaffold-connector
• Практический опыт работы с Kafka или RabbitMQ в production, включая consumer groups, DLQ и гарантии доставки
• Опыт работы с gRPC, Protobuf и Redis, включая reactive Lettuce, кеширование и TTL
• Опыт работы с Docker, Kubernetes, CI/CD и observability, включая Micrometer, Prometheus, Grafana и OpenTelemetry
• В приоритете кандидаты с высшим IT-образованием

Responsibilities

• Разрабатывать кастомные коннекторы, скрипты миграции метаданных и автоматизацию через SDK
• Настраивать и оркестрировать пайплайны в Airflow

Skills

Python

Airflow

SQL

OpenMetadata

Kafka

RabbitMQ

gRPC

Protobuf

Redis

CI/CD

Docker

Kubernetes

Pydantic

Education

Высшее IT-образование

Tools

scaffold-connector

Micrometer

Prometheus

Grafana

OpenTelemetry

Job description

Описание: Описания нет

Задачи:

• Разрабатывать кастомные коннекторы, скрипты миграции метаданных и автоматизацию через SDK Настраивать и оркестрировать пайплайны в Airflow

Требования:

• Опыт коммерческой разработки интеграций на Python от 3 лет
• Уверенное знание Python, включая Pydantic, классы и генераторы
• Понимание архитектуры Source → Sink в OpenMetadata
• Опыт работы с Airflow и SQL
• Знание AI-инструментов для создания каркасов коннекторов с помощью команды scaffold-connector
• Практический опыт работы с Kafka или RabbitMQ в production, включая consumer groups, DLQ и гарантии доставки
• Опыт работы с gRPC, Protobuf и Redis, включая reactive Lettuce, кеширование и TTL
• Опыт работы с Docker, Kubernetes, CI/CD и observability, включая Micrometer, Prometheus, Grafana и OpenTelemetry
• В приоритете кандидаты с высшим IT-образованием

Условия:

• Период привлечения: с 16.11.2026 по 31.01.2027