Data engineer in high-load systems

Петрович-Тех; United States; Hybride; USD 120 000 - 180 000; Plein temps

Avantages offerts par ce poste

Гибридная/удалённая работа

ДМС + стоматология

Оплачиваемые тренинги и курсы

Корпоративные мероприятия и премии

Résumé du poste

«Петрович-Тех» формирует цифровую экосистему для крупного ритейла в строительной и DIY сферах. Вакансия охватывает разработку хранилища данных на базе ClickHouse, ETL-процессы и backend на Java.

Требуется глубокий опыт в SQL, работе с ClickHouse, Kafka и Kubernetes, а также участие в проектах по DWH/Data Lake. Компания предлагает гибридный формат работы: удалёнка/офис, комфортные условия и возможности для профессионального роста.

Qualifications

• Глубокие знания SQL и умение работать с планами запросов.
• Практический опыт работы с ClickHouse и брокерами сообщений (Kafka).
• Опыт работы с Kubernetes.Опыт разработки на Java и участия в проектах DWH/Data Lake.
• Практический опыт построения и развития высоконагруженных систем.

Responsabilités

• Разработка хранилища данных на базе ClickHouse и ETL-процессов.
• Написание, оптимизация и профилирование SQL/NoSQL запросов.
• Расчёт сложных аналитических показателей в витрине данных; настройка шардинга и репликации ClickHouse; взаимодействие с Kafka.
• Участие в тестировании потоков для обеспечения стабильности.
• Написание backend-сервисов на Java и участие в архитектуре и инструментах для работы с данными.
• Контроль качества данных, мониторинг и устранение проблем в данных.

Connaissances

SQL

План запросов

Высоконагруженные системы

DWH/Data Lake

Бэкэнд на Java

Data analytics

Outils

ClickHouse

Kafka

Kubernetes

Java

Description du poste

Описание

«Петрович-Тех» строит и развивает цифровую экосистему для крупного ретейла в области строительства и DIY (коротко о «Петровиче»: 30 лет на рынке, №1 среди DIY-магазинов в России (по версии DIY&Household awards 2019), а наш интернет-магазин входит в топ-20 крупнейших интернет-магазинов России (E-Commerce Index TOP-100)). Специфика предметной области определяет основные направления ИТ-экспертизы: построение высоконагруженных систем, прикладная часть Machine Learning и Data Science, проектирование микросервисной архитектуры и многое другое.

Задачи

• разработка хранилища данных на базе ClickHouse
• построение ETL-процессов
• написание / оптимизация / профилирование SQL/NoSQL запросов
• расчёт сложных аналитических показателей в витрине данных
• настройка ClickHouse (шардинг, репликация) в т.ч. взаимодействия с Kafka (попадание сырых данных, решение возможных проблем с очередностью сообщений, валидностью данных)
• участие в тестировании потоков с целью обеспечения их стабильной работы
• написание backend сервисов на Java
• участие в разработке архитектуры, процессов и инструментов для работы с данными
• обеспечение контроля качества данных, мониторинг, анализ и устранение проблем с качеством данных

Требования

• глубокие знания SQL
• умение работать с планами запросов
• опыт работы с ClickHouse
• опыт работы с брокерами сообщений (Kafka)
• опыт работы с Kubernetes проектами
• опыт работы с Java
• практический опыт участия в проектах по созданию DWH, Data lake
• практический опыт построения и развития высоконагруженных систем

Условия

трудоустройство в аккредитованную ИТ-компанию, всё официально и по-белому Ценим комфорт: поэтому удалёнка/гибрид/офис, удобный формат выбираешь сам. Можно работать из нашего классного офиса в СПб (с зонами отдыха с выходом на крышу и лучшими видами на Финский залив). По доброй традиции раз в год обязательно встречаемся со всеми удалёнными командами на большом очном корпоративе в Питере. заботу о здоровье: полис ДМС через 3 месяца, ДМС + стоматология через год работы топим за развитие: оплачиваем курсы, обучение, участие в конференциях; у нас часто происходят позитивные кадровые перемещения, сотрудники растут внутри компании Семейные фестивали, корпоративы, спортивные марафоны, творческие мастер-классы, пилатес, подарки для сотрудников и детей, welcome-бокс. Возможность получить премию по акции "Приведи друга". Для нас важно, чтобы твой путь в компании был комфортным. Поэтому мы подготовили план адаптации: в первые три месяца с тобой будет работать наставник. Он поможет разобраться в процессах и влиться в команду. Кстати, работа наставника у нас оплачивается — мы ценим время и вклад сотрудников.