Data Engineer: Cloud Pipelines, Spark & Data Quality

ИЦ АЙ-ТЕКО; United States; Hybrid; USD 30,000 - 48,000; Full time

Benefits offered by this job

ДМС с первого дня

Корпоративный спорт

Гибридная/офис в Москве

Возможен удалённый формат внутри РФ

Job summary

ООО ИЦ «АЙ-ТЕКО» ищет Data Engineer для разработки и поддержки data pipelines в облаке. Ваша задача — оптимизация производительности пайплайнов, настройка мониторинга и создание дашбордов для здоровья данных. Нужен опыт Spark, SQL, Git и работы с современными табличными форматами.

Кандидат должен владеть Scala или Python/PySpark, иметь понимание Lakehouse и orchestration инструментов (Airflow/Dagster). Предусмотрены формальные условия в РФ, гибридная локация в Москве с возможностью удалёнки в

Qualifications

• Опыт работы от 3 лет в области данных и пайплайнов.
• Глубокие знания SQL: сложные запросы, планы выполнения, индексы.
• Опыт промышленной разработки на Scala или Python/PySpark.
• Уверенное владение Spark, памятью и оптимизацией задач.
• Понимание Lakehouse: DWH, Data Lake, Raw/Clean/Core/Mart слои.

Responsibilities

• Проектировать и разрабатывать новые data pipeline в облаке.
• Оптимизировать производительность пайплайнов, работать с горячими точками.
• Настраивать мониторинг, алертинг и дашборды для качества данных.
• Внедрять Data Quality и DataOps практики, поддерживать документацию.

Skills

SQL

Python/PySpark

Scala

Apache Spark

Kubernetes

Airflow

Dagster

Git

CI/CD for data

Data Quality

Tools

Kafka

Spark Structured Streaming

Iceberg/Delta Lake/Hudi

dbt / Great Expectations

Job description

ООО ИЦ «АЙ-ТЕКО» ищет Data Engineer для разработки и поддержки data pipelines в облаке. Ваша задача — оптимизация производительности пайплайнов, настройка мониторинга и создание дашбордов для здоровья данных. Нужен опыт Spark, SQL, Git и работы с современными табличными форматами.

Кандидат должен владеть Scala или Python/PySpark, иметь понимание Lakehouse и orchestration инструментов (Airflow/Dagster). Предусмотрены формальные условия в РФ, гибридная локация в Москве с возможностью удалёнки в