data engineer в крупный ритейл

NDA; United States; Remote; USD 120,000 - 160,000; Full time

Job summary

NDA ищет опытного инженера по интеграционным решениям для работы над проектами в области больших данных. Ваша задача — разрабатывать, разворачивать и поддерживать интеграции, выбирать технологический стек и обеспечивать качество поставляемых решений.

Вы будете заниматься проектированием, реализацией и развитием инфраструктуры, совместно с командой, включая документацию и процессы CI/CD, чтобы обеспечить масштабируемость и устойчивость решений.

Qualifications

• Знание Java или Groovy, принципы ООП и чтение чужого кода.
• Умение собирать и разворачивать проект в Rancher и Docker.
• Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке Big Data.
• Знать SQL, включая индексы, функции, планов запросов и оптимизацию.
• Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MS SQL, DB2).
• Уметь работать с Git в консоли.
• Знание ETL-инструментов: Nifi, Airflow, SAP BW, Talend, Informatica или SAS.
• Опыт работы с Hadoop, HDFS и Hive.
• Опыт ведения проектов и документации; умение работать с архитектурными схемами.

Responsibilities

• Самостоятельно разработывать, реализовывать и поддерживать интеграционные решения на стеке технологий.
• Определять стек технологий для конкретных проектов и задач.
• Решать технически сложные задачи, с которыми не справляются другие инженеры команды.
• Разрабатывать документацию по взаимодействию конфигурационных единиц платформы больших данных и контролировать её актуальность.
• Контролировать качество интеграционных решений и создавать задачи или дефекты для рефакторинга.
• Выстраивать процессы, включая CI/CD и код-ревью, внедрять и развивать инженерные практики.
• Определять технологическую стратегию развития проекта и работать на перспективу.

Skills

Java

Groovy

ООП

Чтение чужого кода

Tools

Docker

Rancher

Git

Apache Nifi

Airflow

SAP BW

Talend

Informatica

SAS

Hadoop

HDFS

Hive

Job description

Описание

Описания нет

Задачи

• Самостоятельно разработывать, реализовывать и поддерживать интеграционные решения на принятом в команде стеке технологий
• Определять стек технологий для конкретных проектов и задач
• Решать технически сложные задачи, с которыми не справляются другие инженеры команды
• Оперативно реагировать на информацию о проблемах в зоне ответственности и выполнять задачи в установленные сроки
• Разрабатывать документацию по взаимодействию конфигурационных единиц платформы больших данных и контролировать её актуальность
• Предоставлять отчёты о своей деятельности начальнику отдела или руководителю в установленном порядке
• Контролировать качество интеграционных решений и создавать задачи или дефекты для рефакторинга
• Определять технологическую стратегию развития проекта или продукта и работать на перспективу
• Выстраивать процессы, включая CI/CD и код-ревью, внедрять и развивать инженерные практики

Требования

• Владеть одним из языков программирования: Java или Groovy, знать принципы ООП и уметь читать чужой код
• Уметь собирать и компилировать проект, разворачивать его в Rancher и Docker
• Иметь опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке Big Data
• Знать SQL, включая индексы, функции, чтение планов запросов и оптимизацию запросов
• Иметь опыт работы с реляционными базами данных, например Oracle, Postgres, MySQL, MsSQL или DB2
• Уметь работать с Git в консоли
• Знать особенности ETL-инструментов: Apache Nifi, Airflow, SAP BW, Talend, Informatica или SAS
• Иметь опыт работы с Hadoop
• Понимать устройство HDFS и форматы данных
• Иметь опыт работы с Hive или другим хранилищем на основе Hadoop
• Иметь опыт использования систем ведения проектов и документации
• Уметь работать с архитектурными схемами
• Понимать принципы построения и хранения данных в DWH и Data Lake
• Будет плюсом: опыт администрирования Unix/Linux или Hadoop, включая HDFS, Yarn, Ranger, Spark, Zookeeper, Zabbix и Ansible

Условия

Удалённая работа из РФ или Беларуси