Data engineer

emagine; United States; Remote; USD 46,000 - 66,000; Full time

Job summary

emagine Group ищет старшего инженера данных с ориентиром на платформу для разработки масштабируемых конвейеров в Databricks с использованием Python и PySpark. Вы будете работать с бизнес- и техническими командами над созданием дата-продуктов.

Требуется минимум 3 года опыта в data engineering, знание Python, Databricks и PySpark, а также владение английским языком. Предпочтительно senior/tech lead уровень; удаленная работа возможно оплачивается по ставке 160 PLN/час + НДС для B2B.

Qualifications

• Опыт не менее 3 лет в разработке ПО или Data Engineering.
• Практические знания Python.
• Опыт работы с Databricks и PySpark.
• Умение проектировать масштабируемые модульные решения.
• Свободное владение английским языком.
• Старший уровень или опыт технического лидера приветствуются.
• Опыт работы в Azure.
• Знание Medallion Architecture.
• Terraform и подход IaC.
• Опыт с MLOps.
• Знание Kubernetes.

Responsibilities

• Разрабатывать и оптимизировать масштабируемые конвейеры данных в Databricks.
• Интегрировать и преобразовывать данные из разных источников.
• Разрабатывать аналитический слой и сопутствующую экосистему.
• Сотрудничать с бизнес- и техническими командами для поставки дата-продуктов.
• Обеспечивать модульность, производительность и качество решений.
• Осуществлять ответственность за качество и масштабируемость готовых решений.

Skills

Python

Databricks

PySpark

Azure

Kubernetes

Terraform

IaC

MLOps

Medallion Architecture

Tech lead

Data engineering

Job description

Описание:

We are looking for a Senior Data Engineer with a platform-oriented approach to design and develop scalable pipelines in Databricks using Python and PySpark. This role combines work on data flows with responsibility for the quality, performance, and scalability of the entire solution. You will work with business and technical teams to deliver data products.

Задачи:

• Designing, developing, and optimizing scalable data pipelines in Databricks
• Integrating and transforming data from various sources
• Developing and maintaining the analytics layer and related ecosystem
• Working with business and technical teams to deliver data products
• Ensuring the modularity, reusability, performance, and quality of solutions
• Taking responsibility for the quality and scalability of delivered solutions

Требования:

• At least 3 years of experience in software or data engineering
• Practical knowledge of Python
• Experience with Databricks and PySpark
• Ability to design scalable and modular data solutions
• Very good command of English
• Senior-level or tech lead experience is preferred
• Experience with Azure
• Knowledge of Medallion Architecture
• Terraform and an Infrastructure as Code (IaC) approach
• Experience with MLOps
• Knowledge of Kubernetes

Условия:

• Remote 160 PLN/hour net + VAT, B2B