Data Engineer: Cloud Pipelines, SQL & Airflow Expert

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Медицинская страховка

Возможность релокации в Польшу

Профессиональное развитие

Компенсация сертификаций (AWS, PMP)

Рекомендационная программа

Job summary

Andersen — глобальный поставщик технологий, предоставляющий аналитку данных и AI‑решения для понимания поведения клиентов и оптимизации маркетинга. Ваша роль — ведущий Data Engineer в команде отчетности, ответственен за качество данных, пайплайны и сотрудничество с партнерами.

Требуется 3+ года опыта в Data Engineering, опыт работы с AWS/Databricks, глубокие SQL‑навыки и умение писать производственный Python. Реализация DAG в Airflow и работа с GCP приветствуются.

Qualifications

• 3+ года опыта Data Engineer в продакшн-окружении.
• Опыт работы с AWS или Databricks.
• Сильные SQL-навыки (BigQuery / PostgreSQL) в продакшне.
• Производственный Python.
• Опыт написания DAG в Apache Airflow.
• Опыт распределённых обработок и оркестрации.
• Опыт API-first сервисов и стриминговых/Event-driven систем.
• Степень бакалавра по CS/SE или эквивалентный опыт.

Responsibilities

• Становиться основным contact-point для Data Engineer по отчетам: доступность данных, расхождения метрик и поведение пайплайнов.
• Написание и выполнение SQL-запросов в BigQuery и PostgreSQL для проверки отчетов и выявления аномалий.
• Воспроизведение и документирование проблем с данными, координация с командой Data Engineering.
• Поддержка запросов на произвольные выборки данных и валидацию в рамках продуктов отчетности.
• Настройка и конфигурация облачных сред для доставки данных партнёрами: AWS S3, IAM, SFTP.
• Разработка и поддержка Airflow DAGs на Python для оркестрации ingestion.
• Координация с внешними партнёрами по спецификациям форматов файлов и графикам поставки.
• Проведение тестов соответствия для верификации identity в пайплайнах.

Skills

Опыт Data Engineer

SQL (BigQuery / PostgreSQL)

Python (production-grade)

Airflow

AWS / Databricks

GCP

API/Streaming архитектуры

Английский (Upper-Intermediate+)

Education

Бакалавр в CS/SE или смежной области

Tools

AWS

Databricks

GCP

BigQuery

PostgreSQL

Airflow

Job description

Andersen — глобальный поставщик технологий, предоставляющий аналитку данных и AI‑решения для понимания поведения клиентов и оптимизации маркетинга. Ваша роль — ведущий Data Engineer в команде отчетности, ответственен за качество данных, пайплайны и сотрудничество с партнерами.

Требуется 3+ года опыта в Data Engineering, опыт работы с AWS/Databricks, глубокие SQL‑навыки и умение писать производственный Python. Реализация DAG в Airflow и работа с GCP приветствуются.