Data engineer in ad tech

ИЦ АЙ-ТЕКО; United States; Hybrid; USD 30,000 - 48,000; Full time

Benefits offered by this job

ДМС с первого дня

Корпоративный спорт

Гибридная/офис в Москве

Возможен удалённый формат внутри РФ

Job summary

ООО ИЦ «АЙ-ТЕКО» ищет Data Engineer для разработки и поддержки data pipelines в облаке. Ваша задача — оптимизация производительности пайплайнов, настройка мониторинга и создание дашбордов для здоровья данных. Нужен опыт Spark, SQL, Git и работы с современными табличными форматами.

Кандидат должен владеть Scala или Python/PySpark, иметь понимание Lakehouse и orchestration инструментов (Airflow/Dagster). Предусмотрены формальные условия в РФ, гибридная локация в Москве с возможностью удалёнки в

Qualifications

• Опыт работы от 3 лет в области данных и пайплайнов.
• Глубокие знания SQL: сложные запросы, планы выполнения, индексы.
• Опыт промышленной разработки на Scala или Python/PySpark.
• Уверенное владение Spark, памятью и оптимизацией задач.
• Понимание Lakehouse: DWH, Data Lake, Raw/Clean/Core/Mart слои.

Responsibilities

• Проектировать и разрабатывать новые data pipeline в облаке.
• Оптимизировать производительность пайплайнов, работать с горячими точками.
• Настраивать мониторинг, алертинг и дашборды для качества данных.
• Внедрять Data Quality и DataOps практики, поддерживать документацию.

Skills

SQL

Python/PySpark

Scala

Apache Spark

Kubernetes

Airflow

Dagster

Git

CI/CD for data

Data Quality

Tools

Kafka

Spark Structured Streaming

Iceberg/Delta Lake/Hudi

dbt / Great Expectations

Job description

Описание: Компания ООО ИЦ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России. В связи с активным развитием проектов в компании открыта вакансия Data Engineer.

Задачи:

• Проектировать и разрабатывать новые, а также поддерживать существующие data pipeline’и в облачной среде
• Заниматься тюнингом и оптимизацией производительности пайплайнов (написание эффективного кода, работа с "горячими" точками, распределенные вычисления)
• Настраивать мониторинг, алертинг и участвовать в создании дашбордов для отслеживания здоровья данных
• Внедрять и развивать практики Data Quality и DataOps
• Поддерживать и развивать техническую документацию

Требования:

• Опыт работы от 3х лет (Обязательно)
• Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения (execution plans), знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы)
• Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты готов(а) работать с нашим Scala-ядром)
• Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач
• Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов
• Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач
• Уверенная работа с Git, понимание принципов CI/CD для данных
• Будет плюсом: Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink;
• Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi);
• Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в K8s);
• Опыт работы с инструментами Data Quality (dbt, Great Expectations и аналоги);
• Базовое понимание ML-процессов (как модели потребляют данные, feature store)

Условия:

• Работа в аккредитованной ИТ-компании
• Оформление в соответствии с ТК РФ с первого дня работы
• Формат работы: Офис/гибрид в Москве, также возможен полностью удаленный формат работы в пределах РФ
• ДМС с первого дня работы (включая стоматологию)
• Корпоративный спорт: скидки на посещение фитнес-клубов, футбольная и волейбольная секции, собственный йога класс
• Работа в команде, использующей гибкий подход к разработке
• Работа в развивающемся IT-проекте с командой специалистов высокого уровня, возможность развития и обмена опытом