Senior Lakehouse Data Engineer - Remote (Iceberg/Spark)

Advantage Solutions; United States; Remote; USD 150,000 - 210,000; Full time

Benefits offered by this job

Medical insurance

Professional development

Remote work

Job summary

Advantage Solutions ищет инженера Data Engineering для развития lakehouse‑инфраструктуры, охватывающей данные от фидов до петабайтных хранилищ. Вы будете работать над Iceberg/Delta‑поддержкой, оптимизацией схем и времени доступа, строя batch и streaming пайплайны на Airflow, Spark и dbt.

Требуется опыт работы с PySpark/Polars, Apache Arrow, Linux, Docker и Kubernetes, знание AWS S3 и SQL высшего уровня. Удаленная работа с пересечением с командой в Москве обязанностей.

Qualifications

• Опыт разработки продакшн‑систем в datalake/lakehouse не менее 5 лет.
• Работа с Iceberg/Delta/Hudi: партиционирование, эволюция схем.
• Глубокие знания Spark, Python (PySpark/Polars) и SQL.

Responsibilities

• Развивать lakehouse на Iceberg поверх AWS S3, схемы и версии.
• Строить batch и streaming пайплайны на Airflow, Spark и dbt.
• Разрабатывать монолитный слой доступа и данные контракты.

Skills

Python

SQL

Linux

English (B2)

Tools

Apache Spark

Airflow

Docker

Kubernetes / EKS

Apache Iceberg

Delta / Hudi

AWS S3

Polars

PySpark

Apache Arrow

Job description

Advantage Solutions ищет инженера Data Engineering для развития lakehouse‑инфраструктуры, охватывающей данные от фидов до петабайтных хранилищ. Вы будете работать над Iceberg/Delta‑поддержкой, оптимизацией схем и времени доступа, строя batch и streaming пайплайны на Airflow, Spark и dbt.

Требуется опыт работы с PySpark/Polars, Apache Arrow, Linux, Docker и Kubernetes, знание AWS S3 и SQL высшего уровня. Удаленная работа с пересечением с командой в Москве обязанностей.