Data Engineer: Scalable Pipelines, Databricks & Cloud

HireHi

United States

Remote

USD 90,000 - 130,000

Full time

2 days ago

Be an early applicant

Application generator

An application made for this job — a tailored resume and cover letter that speak straight to the posting.

Get past ATS filters

Job summary

Aristek Systems ищет инженера по данным для разработки и поддержки конвейеров данных в рамках проектов для US и европейских клиентов. Вы будете проектировать архитектуры, обеспечивать качество данных и соответствие требованиям по безопасности и приватности, работать с PySpark, SparkSQL, SQL и Databricks.

Вы будете взаимодействовать с учеными данными, аналитиками и стейкхолдерами, разрешать проблемы масштабирования и мониторинга пайплайнов в реальном времени и пакетной обработке, следить за

Qualifications

2+ года опыта создания масштабируемых конвейеров данных с использованием ETL/ELT.
Опыт работы с Databricks и Spark (pySpark, SparkSQL).
Уверенный владение Python и SQL.
Знакомство с Kafka и потоковыми данными.
Знание требований GDPR/CCPA и принципов безопасности данных.

Responsibilities

Проектирование, построение и сопровождение конвейеров данных для структурированных и неструктурированных данных.
Создание масштабируемых архитектур для мног source- трансформаций.
Сотрудничество с учеными данными, аналитиками и заинтересованными сторонами для соответствия требованиям.
Мониторинг, устранение сбоев и оптимизация пайплайнов для больших наборов данных.
Обеспечение соблюдения политики приватности/безопасности, управления данными и аудита.