Senior Data Engineer - Remote Databricks/PySpark Lead

emagine Group; United States; Remoto; USD 46.000 - 66.000; Tempo integral

Resumo da vaga

emagine Group ищет старшего инженера данных с ориентиром на платформу для разработки масштабируемых конвейеров в Databricks с использованием Python и PySpark. Вы будете работать с бизнес- и техническими командами над созданием дата-продуктов.

Требуется минимум 3 года опыта в data engineering, знание Python, Databricks и PySpark, а также владение английским языком. Предпочтительно senior/tech lead уровень; удаленная работа возможно оплачивается по ставке 160 PLN/час + НДС для B2B.

Qualificações

• Опыт не менее 3 лет в разработке ПО или Data Engineering.
• Практические знания Python.
• Опыт работы с Databricks и PySpark.
• Умение проектировать масштабируемые модульные решения.
• Свободное владение английским языком.
• Старший уровень или опыт технического лидера приветствуются.
• Опыт работы в Azure.
• Знание Medallion Architecture.
• Terraform и подход IaC.
• Опыт с MLOps.
• Знание Kubernetes.

Responsabilidades

• Разрабатывать и оптимизировать масштабируемые конвейеры данных в Databricks.
• Интегрировать и преобразовывать данные из разных источников.
• Разрабатывать аналитический слой и сопутствующую экосистему.
• Сотрудничать с бизнес- и техническими командами для поставки дата-продуктов.
• Обеспечивать модульность, производительность и качество решений.
• Осуществлять ответственность за качество и масштабируемость готовых решений.

Conhecimentos

Python

Databricks

PySpark

Azure

Kubernetes

Terraform

IaC

MLOps

Medallion Architecture

Tech lead

Data engineering

Descrição da vaga

emagine Group ищет старшего инженера данных с ориентиром на платформу для разработки масштабируемых конвейеров в Databricks с использованием Python и PySpark. Вы будете работать с бизнес- и техническими командами над созданием дата-продуктов.

Требуется минимум 3 года опыта в data engineering, знание Python, Databricks и PySpark, а также владение английским языком. Предпочтительно senior/tech lead уровень; удаленная работа возможно оплачивается по ставке 160 PLN/час + НДС для B2B.