Senior Data Engineer — Databricks & GCP ETL Automation

AgileEngine, LLC.

United States

On-site

USD 120,000 - 160,000

Full time

3 days ago

Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Mentorship program

Tech Talks

Growth roadmap

Remote and office options

Job summary

AgileEngine ищет Data Engineer с опытом Databricks и GCP для разработки и продюсирования масштабируемых ETL/ELT пайплайнов и агентной автоматизации процессов обработки данных. Вакансия предполагает работу с Databricks, PySpark, SQL, Delta Lake и BigQuery в гибридном формате.

Требуется 5+ лет hands-on опыта, знание современных архитектур lakehouse и способность работать в кросс-функциональных командах. Официально предлагается гибкий график и удаленные/офисные опции.

Qualifications

5+ лет опыта hands-on с Databricks и PySpark
Продвинутые навыки SQL и обработки данных
Опыт работы с GCP, особенно BigQuery
Опыт работы с Delta Lake и архитектурами lakehouse
Опыт разработки надежных, масштабируемых данных-решений

Responsibilities

Проектирование, разработка и оптимизация масштабируемых ETL/ELT пайплайнов с использованием Databricks, PySpark и SQL
Разработка и внедрение агентируемых рабочих процессов для автоматизации обработки данных
Интеграция агентных возможностей с Databricks, GCP, BigQuery и Delta Lake
Разработка пайплайнов и решений для поддержки новых бизнес-требований
Создание повторно используемых каркасов и компонентов для разных сценариев использования данных
Реализация проверок качества данных, мониторинга и контроляproduction
Оптимизация нагрузок PySpark и SQL по производительности и надёжности
Поддержка тестирования, деплоймента и дальнейшего улучшения решений
Устойчивое устранение сложных проблем с данными и продакшеном
Сотрудничество с бизнесом и командами платформы для поиска новых автоматизационных возможностей