python разработчик инженерии данных

X5 Tech; United States; On-site; USD 28,000 - 45,000; Part time

Benefits offered by this job

Официальное оформление

Гибкий график

Медицинское страхование

Развитие навыков и обучение

Job summary

X5 Tech разрабатывает платформу больших данных и фреймворк инженерии данных. На позиции стажера вы будете участвовать в разработке фреймворка, писать эффективные скрипты на Python и строить конвейеры извлечения, преобразования и загрузки данных, интегрируя источники и создавая витрины.

Требуется магистратура в IT, прикладной математике или анализе данных. Необходим Python 3, ООП, декораторы, генераторы и контекстные менеджеры, опыт с Pandas и NumPy, SQL (PostgreSQL/MySQL).

Qualifications

• Требуется магистратура в IT, прикладной математике или анализе данных.
• Уверенное знание Python 3 и базовых концепций OOP, декораторов и контекстных менеджеров.
• Опыт работы с Pandas и NumPy, знание SQL (PostgreSQL/MySQL).
• Понимание FastAPI и принципов чистого кода (PEP8, типизация).

Responsibilities

• Участвовать в разработке фреймворка инженерии данных на платформе БД.
• Писать скрипты на Python для обработки и преобразования данных.
• Разрабатывать и поддерживать конвейеры ETL с использованием библиотек Python.
• Интегрировать источники данных и создавать витрины данных.

Skills

Python

Pandas

NumPy

SQL

PostgreSQL

MySQL

Git

Linux basics

FastAPI

Async programming

OOP

Dekoratory

Generatory

Context managers

Education

Магистратура по IT / прикладной математике / анализу данных

Tools

PySpark

Airflow

dbt

Docker

Trino/Presto

Parquet

ORC

Iceberg

S3

Git

Job description

Описание

X5 Tech разрабатывает платформу больших данных и фреймворк инженерии данных — набор инструментов для интеграции источников и создания витрин данных.

Задачи

• Участвовать в разработке фреймворка инженерии данных на платформе больших данных
• Писать эффективные скрипты на Python для обработки и преобразования данных
• Разрабатывать и поддерживать конвейеры извлечения, преобразования и загрузки данных с помощью библиотек Python
• Интегрировать источники данных и создавать витрины данных

Требования

• Учиться в магистратуре по направлению, связанному с IT, прикладной математикой или анализом данных
• Уверенно владеть Python 3, понимать объектно-ориентированное программирование, декораторы, генераторы и контекстные менеджеры
• Иметь опыт работы с Pandas и NumPy
• Понимать принципы работы FastAPI
• Знать принципы чистого и поддерживаемого кода, быть знакомым с PEP 8 и типизацией
• Хорошо знать SQL, уметь писать базовые запросы, использовать объединения таблиц и агрегации
• Понимать оконные функции и основы оптимизации SQL-запросов
• Иметь опыт работы с PostgreSQL или MySQL
• Владеть базовыми навыками работы с Git
• Иметь общее представление об архитектуре Lakehouse и понимать её отличия от классического хранилища данных
• Знать основы Linux
• Будет плюсом: базовое понимание асинхронного программирования на Python, знакомство с Apache Spark (PySpark) или Dask, опыт работы с Apache Airflow, понимание форматов Parquet и ORC и табличного формата Iceberg, опыт работы с хранилищами S3, MinIO, AWS S3 или VK Cloud, знакомство с Trino или Presto, опыт работы с dbt или Cosmos, базовые знания контейнеризации и Docker

Условия

• Официальное оформление на 6 месяцев с белой заработной платой
• Гибкий график
• Добровольное медицинское страхование с первого дня перехода со стажировки в штат
• Возможность учиться и развиваться за счёт компании: программы развития цифровых и управленческих навыков, мастер-классы, корпоративный университет и школа наставников
• Обмен опытом в 12 технических сообществах
• Внутренние встречи, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтёрства и корпоративного предпринимательства
• Семь спортивных сообществ и ежегодная Неделя здоровья
• Скидки в экосистеме бизнесов X5 и предложения от компаний-партнёров