Data Engineer — AI/ML Pipelines on Databricks

HireHi; Polska; On-site; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Funding training

Flexible hours

Cafeteria benefits

Referral bonuses PLN 6000

Revenue sharing opportunities

Team manager guidance

Technical mentoring

Team-building budget

Charitable initiatives

Inclusive culture

Job summary

Inetum Polska ищет опытного инженера по данным для разработки и поддержки ETL/ELT пайплайнов на Python в среде Databricks. Вакансия предполагает работу с PySpark, Pandas, Parquet и SQL Server, участие в проектах с AI/ML и обеспечении качества данных.

Кандидат будет сотрудничать с инженерами инфраструктуры и бизнес-стейкхолдерами, нацелен на эффективную интенсификацию миграций и обеспечения соблюдения политик управления данными.

Qualifications

• Опыт работы с Python для задач data engineering, включая PySpark и Pandas.
• Опыт работы с Databricks и Spark экосистемой.
• Знание ETL/ELT, моделирования данных и оркестрации пайплайнов.
• Опыт работы с Microsoft SQL Server, включая прямые подключения к БД.
• Практический опыт обработки Parquet и работы с большими историческими наборами данных.

Responsibilities

• Проектирование, разработка и развёртывание пайплайнов ETL/ELT на Python и Databricks.
• Обеспечение эффективной загрузки исторических наборов Parquet в Databricks.
• Валидация, согласование и QA для перенесённых данных.
• Работа над сопоставлением схем, трансформациями и обогащением метаданных.
• Интеграция управления данными, обеспечения качества и комплаенса в миграционные процессы.
• Оптимизация скорости пайплайнов с использованием Delta Lake и возможностей Databricks.
• Управление ресурсами и планирование передачи больших наборов данных.
• Сотрудничество с инженерами AI, учёными данными и бизнес-стейкхолдерами.
• Ведение документации по всем пайплайнам.

Skills

Python

PySpark

Pandas

Databricks

Spark

ETL/ELT

Data modeling

MS SQL Server

Parquet

Tools

Databricks

Delta Lake

Airflow

Databricks Workflows

Job description

Inetum Polska ищет опытного инженера по данным для разработки и поддержки ETL/ELT пайплайнов на Python в среде Databricks. Вакансия предполагает работу с PySpark, Pandas, Parquet и SQL Server, участие в проектах с AI/ML и обеспечении качества данных.

Кандидат будет сотрудничать с инженерами инфраструктуры и бизнес-стейкхолдерами, нацелен на эффективную интенсификацию миграций и обеспечения соблюдения политик управления данными.