Data engineer in GenAI

Digital Skills ltd; Amsterdam; On-site; EUR 114,000 - 162,000; Full time

Job summary

Digital Skills ltd ищет инженера по анализу данных для преобразования сложных данных приложений в надёжные аналитические наборы и инструменты мониторинга. Вы будете владеть конечными аналитическими доменами, разрабатывать масштабируемые модели и повторно используемые продукты данных, объединяя источники и обогащая данные для самосервиса аналитики.

Кандидат должен иметь сильный SQL, Python и PySpark, владение современными хранилищами данных и опыт работы с большими данными.

Qualifications

• Сильные навыки SQL и опыт работы с реляционными/аналитическими БД.
• Сильные навыки Python, PySpark важны для трансформаций и GenAI.
• Опыт моделирования данных и современных хранилищ данных.
• Опыт обработки больших и сложных наборов данных.
• Аналитика, BI и решение бизнес-задач.
• Умение переводить бизнес-вопросы в метрики и наборы данных.
• Опыт владения аналитическими доменами end-to-end, включая качество данных и мониторинг.
• Создание поддерживаемых, повторно используемых трансформаций.
• Удобство работы с текстовыми данными, неструктурированными наборами и телеметрией.
• Отличные навыки коммуникации с заинтересованными сторонами.
• Самоорганизованность и способность находить точки роста аналитикой.
• Опыт ≥3 лет; профиль: Analytics Engineer/Data Analyst.
• Будет плюсом: эксперименты, анализ моделей, AI/ML/LLM; dbt/Snowflake/Streamlit/Airflow/Argo; знание Java.

Responsibilities

• Владение аналитическими и прикладными доменами данных end-to-end.
• Разработка масштабируемых аналитических моделей и повторно используемых дата-продуктов.
• Объединение, очистка и обогащение больших наборов данных из разных источников.
• Исследование GenAI-данных для выявления проблем и точек боли пользователей.
• Разработка мониторинга приложений, качества данных и дашбордов по затратам.
• Создание повторно используемых наборов данных для самосервиса аналитики.
• Анализ экспериментов, поведения моделей и результатов LLM-оценок.
• Проведение разведочного анализа и визуализации для проверки данных и GenAI-продуктов.
• Обеспечение качества, согласованности и аналитической телеметрии.
• Мониторинг и устранение проблем конвейеров аналитики.
• Сотрудничество с продакт-менеджерами, инженерами и дата-учеными для поиска аналитических возможностей.
• Поддержка требований по управлению данными, качеству и безопасности.

Skills

SQL

Python

PySpark

Data modelling

Data warehouse

Big data

BI analytics

Data governance

Stakeholder comms

LLM evaluation

Tools

dbt

Snowflake

Streamlit

Airflow

Argo

Job description

Описание

Digital Skills are working with a Global Technology Business developing GenAI applications across areas including search and discovery, conversational AI, customer support and LLM evaluation. They require a Data Analytics Engineer to turn complex application data into reliable analytical datasets, insights and monitoring capabilities.

Задачи

• Own analytical and application data domains end-to-end.
• Develop scalable analytical data models and reusable data products.
• Combine, transform, clean and enrich large datasets from multiple sources.
• Investigate GenAI application data to understand what is working effectively and where problems or user pain points occur.
• Develop application monitoring, data quality and cost dashboards.
• Build reusable datasets that enable self-service analytics.
• Analyse experiments, model behaviour and LLM evaluation results.
• Perform exploratory analysis and visualisation to validate data and GenAI products.
• Maintain data quality, consistency and analytical logging.
• Monitor and troubleshoot analytical data pipelines.
• Work with product managers, engineers and data scientists to identify analytical opportunities.
• Support data governance, classification, quality, compliance and security requirements.

Требования

• Strong SQL skills and experience working with relational and analytical databases.
• Strong Python skills, with Python specifically highlighted by the hiring manager as important for transformational data and the GenAI environment.
• Hands-on experience with PySpark.
• Strong data modelling and modern data warehouse experience.
• Experience manipulating and processing large, complex datasets at scale.
• Strong analytics, BI and business problem-solving capabilities.
• Ability to translate business or product questions into meaningful metrics, datasets, analysis and visualisations.
• Experience owning analytical domains end-to-end, including data quality, modelling, monitoring and stakeholder-facing analytics.
• Experience creating maintainable, reusable, production-grade analytical transformations.
• Comfortable working with free text, unstructured datasets, AI-generated outputs and application telemetry.
• Excellent stakeholder communication and the ability to explain technical findings to non-technical audiences.
• Self-driven and comfortable independently identifying where analytics can create value.
• The ideal candidate will have 3+ years' experience and a background closer to an Analytics Engineer or highly technical Data Analyst than a traditional infrastructure-focused Data Engineer.
• Будет плюсом: Experience with experimentation, model analysis, AI/ML products or LLM evaluation would be highly advantageous; Exposure to dbt, Snowflake, Streamlit, Airflow or Argo would be advantageous; Ability to understand Java would be beneficial, although the hiring manager confirmed that writing Java is not essential.

Условия

€100 per hour – Based on a 40-hour working week 6-month contract