Lead Data Engineer: Spark Pipelines & Cloud Scale

EPAM

United States

Remote

USD 150,000 - 230,000

Full time

2 days ago

Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Relocation opportunities

Certifications (GCP, Azure, AWS)

Free English classes

Housing support program

Employee Stock Purchase Plan

Job summary

EPAM ищет опытного Lead Data Software Engineer с глубоким знанием Apache Spark и больших распределённых систем. Вы будете отвечать за дизайн и внедрение ingestion-решений и масштабируемых конвейеров данных, руководить командой и взаимодействовать с заказчиками для трансляции бизнес-видений в технические дорожные карты.

Требуются 5+ лет в Data Software Engineering, опыт руководства, владение Python, SQL и Spark/Kafka/Airflow, плюс знание AWS/Azure/GCP.

Qualifications

Опыт руководства командой разработки данных и архитектурными решениями.
Глубокие знания Python и SQL и умение переводить требования в технические решения.
Опыт работы с Spark, Kafka и Airflow в крупных распределённых системах.

Responsibilities

Проектирование и внедрение устойчивых конвейеров данных и ingestion-pipelines.
Руководство командой, менторство и координация сроковdeliveries.
Формирование технических дорожных карт и взаимодействие с заказчиками как технический контакт.
Обеспечение соответствия SDLC, контроль качества и проведение code reviews.
Документация проектов и обеспечение прозрачности для стейкхолдеров.