Remote Data Engineer: Scalable Analytics & ML Pipelines

Prima

United States

Remote

USD 120,000 - 190,000

Full time

6 days ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Private healthcare
Gym discounts
Wellbeing programs
Mental health support
Mentorship
Tailored growth plan

Job summary

Prima приглашает к участию инженера-архитектора данных для проектирования и внедрения масштабируемых дата-продуктов, включая пакетную и потоковую обработку, а также управление хранилищами данных. Вы будете работать удаленно и взаимодействовать с командами Data Science и ML-инженерами, формируя требования к данным и инфраструктуру.

Требуется экспертиза в AWS, Kafka, Spark и Python, знание SQL/NoSQL, а также практики DevOps и IaC.

Qualifications

  • Опыт работы с пакетной и потоковой обработкой данных и пайплайнами в реальном времени.
  • Опыт реализации облачной платформы Data Lake или Big Data; AWS предпочтительно.
  • Умение работать с Python и лучшие практики разработки ПО.
  • Опыт работы с реляционными и NoSQL БД, моделирование данных.
  • Навыки DevOps, CI/CD и IaC.

Responsibilities

  • Спроектировать архитектуру дата-продуктов для аналитики и Data Science, включая прогнозирование и интеграцию новых источников данных.
  • Установить лучшие практики трансформации данных, моделирования и управления данными для обеспечения доступности и надежности.
  • Разрабатывать повторно используемые технологии для ingestion, хранения, преобразования и подачи данных.
  • Сотрудничать с учёными данных и ML-инженерами для уточнения требований к данным и улучшения инфраструктуры.
  • Следить за новыми технологиями через обучение и участие в сообществах.

Skills

Kafka
Flink
Spark
Python
SQL
NoSQL
DevOps
CI/CD
IaC
Data warehousing

Tools

AWS
Databricks
Apache Airflow
Apache Oozie
SQL databases

Job description

Prima приглашает к участию инженера-архитектора данных для проектирования и внедрения масштабируемых дата-продуктов, включая пакетную и потоковую обработку, а также управление хранилищами данных. Вы будете работать удаленно и взаимодействовать с командами Data Science и ML-инженерами, формируя требования к данным и инфраструктуру.

Требуется экспертиза в AWS, Kafka, Spark и Python, знание SQL/NoSQL, а также практики DevOps и IaC.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Remote Data Engineer — Real-Time Pipelines & AI Enablement
Remote Data Engineer — Real-Time Pipelines & AI Enablement

HireHi • United States

Remote
USD 180,000 - 260,000
Remote work
Data Engineer: Scalable Pipelines, Databricks & Cloud
Data Engineer: Scalable Pipelines, Databricks & Cloud

HireHi • United States

Remote
USD 90,000 - 130,000
Strong Data Engineer
Strong Data Engineer

Sigma Software • United States

Remote
USD 120,000 - 170,000
Backend & Data Engineer for Production ML Pipelines
Backend & Data Engineer for Production ML Pipelines

Quantum One • United States

Remote
USD 120,000 - 180,000
Contractor engagement
Competitive compensation
Senior Data Engineer — Remote Pipelines & ML Enablement
Senior Data Engineer — Remote Pipelines & ML Enablement

SimplyHired • United States

Hybrid
USD 140,000 - 190,000
Work Your Way
Growth resources
Private healthcare
DevOps Engineer Data
DevOps Engineer Data

NDA • United States

On-site
USD 140,000 - 190,000
Senior Data Engineer: Customer Data Platform Pipelines
Senior Data Engineer: Customer Data Platform Pipelines

Intellias • United States

Remote
USD 120,000 - 180,000
Data Engineer for Global Transformation Platform (Remote)
Data Engineer for Global Transformation Platform (Remote)

Data Science Jobs • United States

Remote
USD 36,000 - 39,000
Spark Data Engineer for Scalable Pipelines (Databricks)
Spark Data Engineer for Scalable Pipelines (Databricks)

EPAM • United States

Remote
USD 110,000 - 160,000
Lead Data Engineer: Spark Pipelines & Cloud Scale
Lead Data Engineer: Spark Pipelines & Cloud Scale

EPAM • United States

Remote
USD 150,000 - 230,000
Relocation opportunities
Certifications (GCP, Azure, AWS)
Free English classes
+2