GenAI Data Engineer for Scalable Pipelines

Harvey Nash Poland; Warszawa; On-site; PLN 335,000 - 424,000; Full time

Job summary

Harvey Nash Poland ищет инженера по данным для проектирования и масштабирования высокопроизводительных конвейеров данных, поддерживающих аналитику и продукты на основе ИИ. Вы будете работать над архитектурами данных в Databricks/AWS и сотрудничать с командами AI/ML и разработки.

Требуется 3+ года опыта, глубокие знания Python и Spark/Scala, а также опыт построения распределённых конвейеров в облаке. Диплом бакалавра или магистра в CS/Engineering обязателен, плюс — графовые базы данных.

Qualifications

• 3+ года опыта в data engineering.
• Сильный Python и опыт Spark или Scala.
• Опыт построения распределённых конвейеров в облаке.
• Понимание моделирования данных и warehousing.
• Степень бакалавра или магистра CS/Engineering.
• Плюс: опыт графовых баз данных.

Responsibilities

• Разработать и поддерживать распределённые конвейеры данных в Databricks и AWS.
• Собираать и обрабатывать большие объёмы структурированных и неструктурированных данных.
• Сотрудничать с командами AI/ML и инженерами для проектирования архитектур данных и API.
• Оптимизировать производительность и стоимость с использованием Spark и лучших практик облака.
• Реализовать управление данными, приватность, lineage и доступ.
• Разрабатывать автоматизированные валидационные, мониторинговые и QA-фреймворки.
• Оценивать новые GenAI и инструменты данных для расширения возможностей платформы.

Skills

Python

Spark

Scala

Graph databases

Education

Bachelor's or Master's degree in Computer Science or Engineering

Tools

Databricks

AWS

Job description

Harvey Nash Poland ищет инженера по данным для проектирования и масштабирования высокопроизводительных конвейеров данных, поддерживающих аналитику и продукты на основе ИИ. Вы будете работать над архитектурами данных в Databricks/AWS и сотрудничать с командами AI/ML и разработки.

Требуется 3+ года опыта, глубокие знания Python и Spark/Scala, а также опыт построения распределённых конвейеров в облаке. Диплом бакалавра или магистра в CS/Engineering обязателен, плюс — графовые базы данных.