data engineer for supply chain data

HireHi; United States; Remote; USD 90,000 - 130,000; Full time

Benefits offered by this job

Remote work possible

Job summary

Intellias ищет опытного инженера данных для разработки и сопровождения рекомендованных Data Lake/ETL-уровня на базе Databricks. Ваша роль — проектирование моделей данных, оптимизация запросов и реализация ETL-процессов в гибридной/удаленной среде.

Кандидат должен иметь 4+ года опыта, продвинутые навыки Python и SQL, а также знания Azure и Databricks. Конкурентная оплата и возможность удаленной работы в регионе Европа/Украина.

Qualifications

• 4+ года опыта инженера данных
• Навыки продвинутого Python
• Навыки продвинутого SQL
• Опыт пакетов ETL/ELT пакетной и потоковой обработки на Databricks
• Опыт работы с Delta Lake, Structured Streaming, Unity Catalog, Databricks Workflows и Git
• Опыт работы с Azure Data Lake Storage Gen2, Azure Data Factory и Azure Functions
• Наличие Databricks Certification будет преимуществом

Responsibilities

• Сотрудничество с бизнес-заинтересованными лицами и техническими командами для анализа требований к данным
• Проектирование и внедрение моделей данных и структур баз данных
• Профилирование и оптимизация производительности баз данных
• Проектирование и реализация сложных ETL-процессов
• Обеспечение целостности и качества данных
• Руководство и наставничество в команде
• Р supervise и вклад в стратегию данных проекта

Skills

Python

SQL

Data engineering

Education

Databricks Certification (Data Engineer)

Tools

Databricks

Delta Lake

Structured Streaming

Auto Loader

Delta Live Tables

Unity Catalog

Databricks Workflows

Git integration

Azure Data Lake Storage Gen2

Azure Data Factory

Azure Functions

Job description

Описание

Intellias helps retailers deliver consistent, omnichannel experiences through technology. Its Operational Data Product Team develops integrated, governed, and timely Supply Chain Management data solutions that support strategic reporting, transactional processes, and advanced AI.

Задачи

• Collaborate with business stakeholders and technical teams to understand and analyze data requirements
• Lead the design and implementation of data models and database structures that meet business needs
• Profile, refactor, and tune database performance
• Design and implement complex ETL processes to extract, transform, and load data from various source systems into the data warehouse
• Ensure data integrity, consistency, and accuracy through robust data quality assurance measures
• Review and support team members by providing guidance and mentorship
• Supervise and contribute to the project’s data-driven strategy, aligning it with business objectives

Требования

• 4+ Years of experience as an engineer
• Advanced Python skills
• Advanced SQL skills
• Experience with batch and streaming ETL/ELT processes on Databricks
• Expertise in Delta Lake, Structured Streaming, Auto Loader, Delta Live Tables, Unity Catalog, Databricks Workflows, and Git integration
• Experience with Azure Data Lake Storage Gen2, Azure Data Factory, and Azure Functions
• Nice to have: Databricks Certified Data Engineer Associate or Databricks Certified Data Engineer Professional

Условия

• Remote work is available in Poland or Ukraine
• No conditions specified