Data Engineer: Agentic Workflows & Databricks (Remote)

AgileEngine, LLC.; United States; Remote; USD 120,000 - 170,000; Full time

Benefits offered by this job

Mentorship и TechTalks

Индивидуальные дорожные карты роста

Компенсация в долларах США и бюджеты

Job summary

AgileEngine ищет инженера по данным с сильным опытом в Databricks и GCP для разработки масштабируемых ETL/ELT конвейеров и продакшн-агентных рабочих процессов по автоматизации обработки данных.

Кандидат будет внедрять повторно используемые фреймворки, обеспечивать качество данных и оптимизировать нагрузки. Требуется знание Delta Lake и BigQuery, а также опыт работы в среде GCP и стремление к росту в динамичной команде.

Qualifications

• 5+ лет hands-on работы с Databricks и PySpark.
• Продвинутое владение SQL и обработкой данных.
• Опыт работы с GCP, особенно BigQuery.
• Опыт работы с Delta Lake и современными архитектурами data lake.
• Опыт проектирования ETL/ELT, оптимизации производительности и обеспечения качества данных.
• Опыт создания надежных, масштабируемых data-решений.
• Сильная аналитика и отладка.
• Понимание методик разработки ПО: тестирование, контроль версий, развёртывание, мониторинг, production support.
• Уровень английского Upper-Intermediate.
• Будет плюсом: опыт разработки/интеграции AI/агентских рабочих процессов, AI-агентов, или автоматизации рабочих процессов.

Responsibilities

• Проектирование, разработка и оптимизация масштабируемых ETL/ELT конвейеров с использованием Databricks, PySpark и SQL.
• Разработка агентных рабочих процессов для автоматизации обработки данных и операционных процессов.
• Интеграция агентных возможностей с Databricks, GCP, BigQuery и Delta Lake.
• Разработка конвейеров данных и решений для поддержки новых требований.
• Создание повторно используемых фреймворков и компонентов.
• Реализация проверок качества данных, мониторинга, валидации, обработки исключений и производственных контролей.
• Оптимизация нагрузок PySpark и SQL для производительности и масштабируемости.
• Участие в тестировании, развёртывании, продакшн-отводе и дальнейшем улучшении решений.
• Устранение сложных проблем с данными и в продакшене; поиск устойчивых решений.
• Сотрудничество с бизнесом, командами данных и платформы для выявления дополнительных возможностей автоматизации.

Skills

Databricks

PySpark

SQL

ETL/ELT

Tools

BigQuery

Delta Lake

Airflow

Job description

AgileEngine ищет инженера по данным с сильным опытом в Databricks и GCP для разработки масштабируемых ETL/ELT конвейеров и продакшн-агентных рабочих процессов по автоматизации обработки данных.

Кандидат будет внедрять повторно используемые фреймворки, обеспечивать качество данных и оптимизировать нагрузки. Требуется знание Delta Lake и BigQuery, а также опыт работы в среде GCP и стремление к росту в динамичной команде.