Data engineer

ИНВИТРО; United States; Hybrid; USD 140,000 - 210,000; Full time

Benefits offered by this job

Удаленный/ гибридный формат работы

ДМС с телемедициной

3 дня оплачиваемых выходных

Корпоративные скидки на медицинскиеусл

Подарок на День рождения

Job summary

ИНВИТРО приглашает специалистов в области данных для работы над платформами данных и витринами аналитики. В должности ожидается уверенное владение PySpark, Python и SQL, а также опыт проектирования витрин и оптимизации ETL/ELT-процессов.

Работа в гибридном формате с акцентом на сотрудничество с командами Data Science и ML. Наличие опыта с ClickHouse и Iceberg является преимуществом.

Qualifications

• Опыт работы от 3 лет на аналогичной позиции или схожей.
• Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop.
• Уверенное владение Python (включая PySpark).
• Продвинутый опыт PySpark (batch) с большими объёмами данных.
• Опыт проектирования таблиц в ClickHouse и работы с ним.

Responsibilities

• Изучение сырых данных и источников, а также в Storage.
• Тесное взаимодействие с командами Data Science и ML.
• Разбор и устранение инцидентов производительности в ClickHouse, PySpark.
• Проектирование и построение витрин данных в ClickHouse.
• Разработка и модификация ETL/ELT-процессов для Data Mart.
• Проведение код-ревью.

Skills

Python

PySpark

SQL

Tools

Apache Iceberg

ClickHouse

Hive

Apache Airflow

Kafka

Spark Streaming

Job description

Описание

Описания нет

Задачи

• Изучение сырых данных, как на источнике, так и в Storage
• Тесное взаимодействие с командами Data Science и ML
• Разбор и устранение сложных инцидентов производительности в ClickHouse, PySpark
• Проектирование и построение витрин данных в ClickHouse
• Разработка и модификация ETL/ELT-процессов для Data Mart
• Проведение код-ревью

Требования

• Опыт работы от 3 лет (на аналогичной позиции или схожей)
• Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop
• Уверенное владение Python (включая PySpark)
• Продвинутый опыт работы со PySpark (batch) с большими объемами данных
• Опыт проектирования таблиц в ClickHouse
• Опыт опыт работы с ClickHouse
• Отличное знание SQL и опыт оптимизации под большие объёмы данных
• Разработка, оптимизация и масштабирование ETL/ELT-процессов
• Разработка и поддержка витрин данных для аналитики и бизнес-отчетности
• Взаимодействие с аналитиками, специалистами Data Science и ML
• Понимание принципов Data Lake / Data Lakehouse

Будет плюсом

• Опыт работы с Hive
• Опыт работы Apache Airflow
• Понимание принципов MLOps
• Опыт работы с Kafka
• Опыт работы со Spark ( streaming)
• Понимание принципов Lakehouse
• Опыт работы с кластером ClickHouse
• Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёрах данных (Data Lake)
• Понимание различных моделей данных (Star/Snow?ake, Data Vault, Anchor Modeling)

Условия

• Профессиональное развитие в крупной MedTech компании
• Оформление по ТК РФ с первого дня в дочернюю аккредитованную ИТ компанию
• Удаленный/ гибридный формат работы
• Здоровье и поддержка: полис ДМС с телемедициной, консультациями узких специалистов и психотерапевта.
• Корпоративные скидки до 50% на все виды медицинских услуг для вас и ваших близких + 3 дня оплачиваемых выходных
• Подарок на День рождения и для детей к Новому году и Дню знаний
• Внутреннее и внешнее обучение, семинары, тренинги
• Корпоративные скидки и эксклюзивные специальные предложения от 800+ партнеров (товары, обучение, спорт, здоровье, рестораны, отдых)
• Вознаграждение за рекомендацию друзей в команду
• ИНВИТРО Предлагаем насыщенную жизнь в компании! Проводим корпоративные и спортивные мероприятия, профессиональные соревнования, конкурсы для сотрудников и членов семьи. В компании у каждого сотрудника имеется возможность для профессионального и карьерного роста.