Data Engineer — Real-Time, BI-Ready Pipelines on AWS

Baxter Planning Systems, Inc.

United States

On-site

USD 110,000 - 160,000

Full time

11 days ago

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Здравоохранение

Гибкая система оплаты и льготы

Командные мероприятия

Чай/кофе и бесплатные закуски

Job summary

Baxter Planning Systems, Inc. ищет Data Engineer для разработки и эволюции data lake на AWS, поддержки аналитики и продуктовых данных. Ваша работа будет включать проектирование и эксплуатацию конвейеров данных и подготовку наборов данных для BI.

Кандидат будет работать над моделированием данных, качеством данных и приближенной к реальному времени загрузкой, сотрудничать с инженерами и стейкхолдерами, участвовать в архитектуре, автоматизации и лучших практиках.

Qualifications

4+ года разработки и эксплуатации production data pipelines
Сильные навыки Python
Опыт работы с AWS на уровне сервисов S3, Glue, Athena, Redshift, DMS, Lambda и др.
Опыт работы с моделированием данных и схемой звезды
Опыт по качеству данных и observability
Опыт работы с Airflow и инструментами CI/CD/IaC
Опыт работы с lakehouse (Delta) и обновлениями схем
Умение работать с SQL/BI-ready данными

Responsibilities

Построение слоя данных: curated datasets, marts, таблицы готовые для продукта
Разработка incremental/micro-batch pipelines, поддержка CDC near-real-time ingestion (AWS DMS)
Проектирование BI-дружелюбных моделей данных (звездная схема) и управление схемами
Разработка ETL/ELT на Python (Polars) и доступ к данным через Athena/Redshift
Обеспечение качества и наблюдаемости данных (свежесть, полнота, дубликаты, Drift)
Оркестрация с Airflow и AWS-native инструментами (Step Functions)
Участие в CI/CD, IaC, архитектурных обсуждениях и лучших практиках