Data Engineer для аналитических хранилищ — PySpark, Kafka

ASTON; United States; Remote; USD 120,000 - 170,000; Full time

Job summary

ASTON ищет инженера по данным для разработки и поддержки высоконагруженных конвейеров обработки данных, обеспечивающих надежную репликацию между ИТ-системами. В обязанности входит подготовка данных в DataLake, SandBox и FeatureStore для построения признаков моделей МЛ.

Требуется глубокое знание Python, SQL и инструментов параллельной обработки, опыт работы с PySpark, Kafka, Airflow и базами Oracle/Postgres/Greenplum. График 5/2, работа на месте.

Qualifications

• Опыт работы Data Engineer от 4 лет.

Responsibilities

• Реализовывать высоконагруженные конвейеры обработки данных для репликации.
• Подготавливать данные в хранилищах DataLake, SandBox и FeatureStore.
• Разрабатывать и обновлять документацию по функционалу.
• Отражать статусы задач в Jira
• Проверять качество кода инженеров данных

Skills

Python

Data structures

Algorithms

Object-Oriented Programming

Functional programming

Modular & integration tests

NumPy

Pandas

SQL

Analytical window functions

Profiling tools

API data sources

Tools

Oracle

PostgreSQL

Greenplum

Airflow

Apache Spark

Flink

Apache Kafka

PySpark

Jira

Job description

ASTON ищет инженера по данным для разработки и поддержки высоконагруженных конвейеров обработки данных, обеспечивающих надежную репликацию между ИТ-системами. В обязанности входит подготовка данных в DataLake, SandBox и FeatureStore для построения признаков моделей МЛ.

Требуется глубокое знание Python, SQL и инструментов параллельной обработки, опыт работы с PySpark, Kafka, Airflow и базами Oracle/Postgres/Greenplum. График 5/2, работа на месте.