Data engineer

Лига Цифровой Экономики; United States; Remote; USD 110,000 - 170,000; Full time

Benefits offered by this job

ДМС со стоматологией

Скидка на ДМС для близких

Техника для комфортной работы

Сессии профессионального развития

Job summary

Лига Цифровой Экономики в США ищет дата-инженера для крупного банковского проекта по репликации данных из S3 в Hadoop. Ваша задача — строить устойчивые ETL-пайплайны, обеспечивать качество данных и документацию.

Если вы умеете декомпозировать сложные задачи, работать с Spark, Hadoop, Airflow и SQL, и готовы развивать нюансы архитектуры Data Vault, присоединяйтесь.

Qualifications

• Уверенное владение SQL.
• Опыт работы с Python.
• Опыт работы с Apache Spark, Hadoop/S3, Airflow.
• Навыки декомпозиции сложных задач и управления приоритетами.
• Способность создавать понятную и структурированную техническую документацию.
• Будет плюсом опыт с Parquet/ORC, Apache Iceberg; Kafka; Data Vault.

Responsibilities

• Реализовывать репликацию данных.
• Разрабатывать ETL-процессы для интеграционных задач и тестировать их.
• Декомпозировать задачи, оценивать длительность и трудоемкость каждого этапа.
• Анализировать и формализовать требования заказчика.
• Собирать прототип решения.
• Анализировать качество данных.
• Писать проектную документацию (FSD, BRD, регламент, Admin Guide, User Guide).
• Тестировать функционал и передавать заказчику.
• Выполнять ad-hoc выгрузки по требованиям заказчика.

Skills

SQL

Python

Spark

Airflow

Декомпозиция задач

Управление приоритетами

Документация

Tools

Hadoop

S3

Kafka

Parquet

ORC

Iceberg

Job description

Описание

Сейчас мы в поиске Дата инженера для работы над крупным банковским проектом по репликации данных из S3 в Hadoop

Задачи

• Реализовывать репликацию данных
• Разрабатывать ETL-процессы для интеграционных задач и тестировать их
• Декомпозировать задачи, оценивать длительность и трудоемкость каждого этапа
• Анализировать и формализовать требования заказчика
• Собирать прототип решения
• Анализировать качество данных
• Писать проектную документацию (FSD, BRD, регламент, Admin Guide, User Guide)
• Тестировать функционал и передавать заказчику
• Выполнять ad-hoc выгрузки по требованиям заказчика

Требования

• Уверенное владение SQL
• Опыт работы с Python
• Опыт работы с Apache Spark, Hadoop\S3\S3-like, Airflow
• Навыки декомпозиции сложных задач и управления приоритетами
• Способность создавать понятную и структурированную техническую документацию
• Будет плюсом: Опыт работы с Parquet\ORC, Apache Iceberg; Опыт работы с Kafka; Знание архитектуры Data Vault

Условия

Внутренние семинары, внутренние митапы, мы очень любим учиться новому ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи Технику для комфортной работы Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника