Data Engineer - Remote, Big Data & ETL

NDA; United States; Remote; USD 120,000 - 160,000; Full time

Job summary

NDA ищет опытного инженера по интеграционным решениям для работы над проектами в области больших данных. Ваша задача — разрабатывать, разворачивать и поддерживать интеграции, выбирать технологический стек и обеспечивать качество поставляемых решений.

Вы будете заниматься проектированием, реализацией и развитием инфраструктуры, совместно с командой, включая документацию и процессы CI/CD, чтобы обеспечить масштабируемость и устойчивость решений.

Qualifications

• Знание Java или Groovy, принципы ООП и чтение чужого кода.
• Умение собирать и разворачивать проект в Rancher и Docker.
• Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке Big Data.
• Знать SQL, включая индексы, функции, планов запросов и оптимизацию.
• Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MS SQL, DB2).
• Уметь работать с Git в консоли.
• Знание ETL-инструментов: Nifi, Airflow, SAP BW, Talend, Informatica или SAS.
• Опыт работы с Hadoop, HDFS и Hive.
• Опыт ведения проектов и документации; умение работать с архитектурными схемами.

Responsibilities

• Самостоятельно разработывать, реализовывать и поддерживать интеграционные решения на стеке технологий.
• Определять стек технологий для конкретных проектов и задач.
• Решать технически сложные задачи, с которыми не справляются другие инженеры команды.
• Разрабатывать документацию по взаимодействию конфигурационных единиц платформы больших данных и контролировать её актуальность.
• Контролировать качество интеграционных решений и создавать задачи или дефекты для рефакторинга.
• Выстраивать процессы, включая CI/CD и код-ревью, внедрять и развивать инженерные практики.
• Определять технологическую стратегию развития проекта и работать на перспективу.

Skills

Java

Groovy

ООП

Чтение чужого кода

Tools

Docker

Rancher

Git

Apache Nifi

Airflow

SAP BW

Talend

Informatica

SAS

Hadoop

HDFS

Hive

Job description

NDA ищет опытного инженера по интеграционным решениям для работы над проектами в области больших данных. Ваша задача — разрабатывать, разворачивать и поддерживать интеграции, выбирать технологический стек и обеспечивать качество поставляемых решений.

Вы будете заниматься проектированием, реализацией и развитием инфраструктуры, совместно с командой, включая документацию и процессы CI/CD, чтобы обеспечить масштабируемость и устойчивость решений.