data engineer для аналитических хранилищ

ASTON; United States; Remote; USD 120,000 - 170,000; Full time

Job summary

ASTON ищет инженера по данным для разработки и поддержки высоконагруженных конвейеров обработки данных, обеспечивающих надежную репликацию между ИТ-системами. В обязанности входит подготовка данных в DataLake, SandBox и FeatureStore для построения признаков моделей МЛ.

Требуется глубокое знание Python, SQL и инструментов параллельной обработки, опыт работы с PySpark, Kafka, Airflow и базами Oracle/Postgres/Greenplum. График 5/2, работа на месте.

Qualifications

• Опыт работы Data Engineer от 4 лет.

Responsibilities

• Реализовывать высоконагруженные конвейеры обработки данных для репликации.
• Подготавливать данные в хранилищах DataLake, SandBox и FeatureStore.
• Разрабатывать и обновлять документацию по функционалу.
• Отражать статусы задач в Jira
• Проверять качество кода инженеров данных

Skills

Python

Data structures

Algorithms

Object-Oriented Programming

Functional programming

Modular & integration tests

NumPy

Pandas

SQL

Analytical window functions

Profiling tools

API data sources

Tools

Oracle

PostgreSQL

Greenplum

Airflow

Apache Spark

Flink

Apache Kafka

PySpark

Jira

Job description

Описание: Описания нет

Задачи

• Реализовывать высоконагруженные конвейеры обработки данных для надежной и бесперебойной репликации данных из ИТ-систем
• Подготавливать данные в аналитических хранилищах DataLake, SandBox и FeatureStore для построения признаков моделей машинного обучения
• Разрабатывать и обновлять документацию по реализованному функционалу
• Отражать статусы выполнения задач в Jira
• Проверять качество кода инженеров данных

Требования

• Опыт работы в роли Data Engineer от 4 лет
• Отличное знание Python, структур данных, алгоритмов, ООП и функционального программирования
• Опыт написания модульных и интеграционных тестов, применения NumPy и Pandas
• Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных из внешних источников
• Умение разбираться в API поставщиков данных по доступной документации
• Отличное знание SQL, сложных запросов с аналитическими оконными функциями и инструментов профилирования для оптимизации производительности
• Опыт работы с Oracle, Postgres и Greenplum
• Опыт работы с Airflow и инструментами планирования и мониторинга пакетной обработки данных
• Опыт разработки высоконагруженных приложений обработки данных на PySpark
• Опыт работы с Apache Kafka, продюсерами, консьюмерами на Python и группами потребителей
• Опыт разработки потоковой обработки данных с Spark Structured Streaming и Flink
• Опыт работы с Flink

Условия: График 5/2