Data engineer for AI products

Harvey Nash Poland; Warszawa; On-site; PLN 335,000 - 424,000; Full time

Job summary

Harvey Nash Poland ищет инженера по данным для проектирования и масштабирования высокопроизводительных конвейеров данных, поддерживающих аналитику и продукты на основе ИИ. Вы будете работать над архитектурами данных в Databricks/AWS и сотрудничать с командами AI/ML и разработки.

Требуется 3+ года опыта, глубокие знания Python и Spark/Scala, а также опыт построения распределённых конвейеров в облаке. Диплом бакалавра или магистра в CS/Engineering обязателен, плюс — графовые базы данных.

Qualifications

• 3+ года опыта в data engineering.
• Сильный Python и опыт Spark или Scala.
• Опыт построения распределённых конвейеров в облаке.
• Понимание моделирования данных и warehousing.
• Степень бакалавра или магистра CS/Engineering.
• Плюс: опыт графовых баз данных.

Responsibilities

• Разработать и поддерживать распределённые конвейеры данных в Databricks и AWS.
• Собираать и обрабатывать большие объёмы структурированных и неструктурированных данных.
• Сотрудничать с командами AI/ML и инженерами для проектирования архитектур данных и API.
• Оптимизировать производительность и стоимость с использованием Spark и лучших практик облака.
• Реализовать управление данными, приватность, lineage и доступ.
• Разрабатывать автоматизированные валидационные, мониторинговые и QA-фреймворки.
• Оценивать новые GenAI и инструменты данных для расширения возможностей платформы.

Skills

Python

Spark

Scala

Graph databases

Education

Bachelor's or Master's degree in Computer Science or Engineering

Tools

Databricks

AWS

Job description

Описание:

We’re looking for a Data Engineer to design and scale high-throughput data pipelines supporting advanced analytics and AI-driven products.

Задачи:

• Architect and maintain distributed data pipelines in Databricks and AWS
• Ingest and process large volumes of structured and unstructured data (internal, market, third-party, alternative sources)
• Collaborate with AI/ML and engineering teams to design scalable data architectures and APIs
• Optimize performance and cost using Spark and cloud-native best practices
• Implement data governance, privacy, lineage, and access controls
• Build automated validation, monitoring, and data quality frameworks
• Evaluate emerging GenAI and data tooling to enhance platform capabilities

Требования:

• 3+ years of experience in data engineering
• Strong Python and experience with Spark or Scala
• Proven experience building distributed pipelines in cloud environments
• Solid understanding of data modeling, architecture, and warehousing principles
• Innovative problem-solving mindset
• Bachelor’s or Master’s degree in Computer Science or Engineering
• Будет плюсом: Experience with graph databases

Условия:

Umowa o Pracę - full time employment 30000-38000 zl gross/month - negotiable