Data engineer in RAG systems

Rambler&Co; United States; Hybrid; USD 18,000 - 27,000; Full time

Benefits offered by this job

Официальное трудоустройство

ДМС со стоматологией

Бесплатные занятия спортом в спортзале

Гибридный или удаленный формат работы

Job summary

Rambler&Co ищет опытного Data Engineer для разработки и оптимизации ETL/ELT процессов и обработки больших данных. Ваша работа будет включать проектирование архитектур потоковой обработки, векторного поиска и RAG, а также создание систем мониторинга метрик качества моделей.

Требуется минимальный опыт 3 года, владение SQL и Python, знание Spark/Hadoop, Kafka/Flink, Docker, Kubernetes, Git и опыт работы с облачными платформами. Ожидается участие в межкомандной разработке в гибридном формате.

Qualifications

• Опыт работы Data Engineer от 3 лет.
• Уверенное знание SQL и Python.
• Опыт работы с реляционными базами данных.
• Опыт обработки больших объемов данных с Apache Spark и Hadoop.
• Опыт разработки ETL/ELT-процессов.
• Опыт работы с облачными платформами и потоковой обработкой (Kafka, Flink).
• Понимание векторного поиска и RAG (Retrieval-Augmented Generation).
• Опыт мониторинга качества данных, Git, Docker, Kubernetes.

Responsibilities

• разрабатывать и оптимизировать процессы сбора, обработки и хранения больших объемов данных
• проектировать и развивать ETL/ELT-процессы
• разрабатывать и оптимизировать алгоритмы обработки данных, включая векторный поиск и RAG
• создавать и развивать системы мониторинга метрик качества работы моделей
• взаимодействовать с командами разработки и аналитики при проектировании и реализации технических решений

Skills

Data Engineer 3+ лет

SQL

Python

Реляционные БД

Tools

Apache Spark

Hadoop

Apache Kafka

Apache Flink

Git

Docker

Kubernetes

Job description

Описание

Описания нет

Задачи

разрабатывать и оптимизировать процессы сбора, обработки и хранения больших объемов данных проектировать и развивать ETL/ELT-процессы разрабатывать и оптимизировать алгоритмы обработки данных, включая векторный поиск и RAG создавать и развивать системы мониторинга метрик качества работы моделей взаимодействовать с командами разработки и аналитики при проектировании и реализации технических решений

Требования

опыт работы в роли Data Engineer от 3 лет уверенное знание SQL, Python и опыт работы с реляционными базами данных опыт обработки больших объемов данных с использованием Apache Spark, Hadoop опыт разработки и оптимизации ETL/ELT-процессов опыт работы с облачными платформами и потоковой обработкой данных (Apache Kafka, Apache Flink) понимание принципов векторного поиска и RAG (Retrieval-Augmented Generation) опыт работы с инструментами мониторинга качества данных, Git, Docker, Kubernetes Будет плюсом: знание принципов и методов фактчекинга и фильтрации контента

Условия

официальное трудоустройство ДМС со стоматологией, офисного врача, доплату больничного листа и корпоративные скидки современный офис на Даниловской мануфактуре (м. Тульская) и бесплатные занятия спортом в собственном спортзале от «Лиги Героев» бесплатную подписку на сервисы партнеров возможность выбрать комфортный формат работы: офис, гибрид или 100% удаленно льготные условия ипотеки в рамках зарплатного проекта насыщенную корпоративную жизнь