Data Engineer – E-commerce Analytics & Pipelines

SOUM; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

Soum ищет инженера по данным для разработки масштабируемых конвейеров данных, поддержки моделей ML и бизнес-отчетности. Вы будете тесно сотрудничать с учеными данными и аналитиками, обеспечивая чистые и доступные данные.

Требуется опыт в Python, SQL, ETL/ELT, работе с облачными платформами и инструментами оркестрации данных (Airflow/Airbyte). Предпочтение кандидатам с опытом в Git, Docker/Kubernetes и обработке реальных потоков данных.

Qualifications

• Владение Python и SQL для задач data engineering.
• Понимание ETL/ELT, моделирования данных и DW.
• Опыт работы с облачными платформами и хранилищами данных.
• Знание Airflow и Airbyte.
• Знание принципов управления данными и безопасности.
• Опыт работы с Git и GitHub.
• Dataform; плюс Docker/Kubernetes и обработка потоков.

Responsibilities

• Разработка, построение и поддержка масштабируемых конвейеров данных и аналитических пайплайнов.
• Сотрудничество с data-science командами и аналитиками.
• Обеспечение качества, мониторинга и валидации данных.
• Интеграция данных из нескольких источников в центры хранения данных.
• Поддержка облачной инфраструктуры для хранения и доступа к данным.
• Оптимизация запросов и затрат на хранение.
• Документация рабочих процессов, схем и процедур.

Skills

Python

SQL

Data warehousing concepts

Data modeling

Git basics

Tools

Airflow

Airbyte

AWS

GCP

Azure

BigQuery

Redshift

Snowflake

Docker

Kubernetes

Kafka

Spark

Flink

Git

GitHub

Dataform

Job description

Soum ищет инженера по данным для разработки масштабируемых конвейеров данных, поддержки моделей ML и бизнес-отчетности. Вы будете тесно сотрудничать с учеными данными и аналитиками, обеспечивая чистые и доступные данные.

Требуется опыт в Python, SQL, ETL/ELT, работе с облачными платформами и инструментами оркестрации данных (Airflow/Airbyte). Предпочтение кандидатам с опытом в Git, Docker/Kubernetes и обработке реальных потоков данных.