Data Engineer — ETL/ELT, Spark, Vector Search (Remote/Hybrid)

Rambler&Co; United States; Hybrid; USD 18,000 - 27,000; Full time

Benefits offered by this job

Официальное трудоустройство

ДМС со стоматологией

Бесплатные занятия спортом в спортзале

Гибридный или удаленный формат работы

Job summary

Rambler&Co ищет опытного Data Engineer для разработки и оптимизации ETL/ELT процессов и обработки больших данных. Ваша работа будет включать проектирование архитектур потоковой обработки, векторного поиска и RAG, а также создание систем мониторинга метрик качества моделей.

Требуется минимальный опыт 3 года, владение SQL и Python, знание Spark/Hadoop, Kafka/Flink, Docker, Kubernetes, Git и опыт работы с облачными платформами. Ожидается участие в межкомандной разработке в гибридном формате.

Qualifications

• Опыт работы Data Engineer от 3 лет.
• Уверенное знание SQL и Python.
• Опыт работы с реляционными базами данных.
• Опыт обработки больших объемов данных с Apache Spark и Hadoop.
• Опыт разработки ETL/ELT-процессов.
• Опыт работы с облачными платформами и потоковой обработкой (Kafka, Flink).
• Понимание векторного поиска и RAG (Retrieval-Augmented Generation).
• Опыт мониторинга качества данных, Git, Docker, Kubernetes.

Responsibilities

• разрабатывать и оптимизировать процессы сбора, обработки и хранения больших объемов данных
• проектировать и развивать ETL/ELT-процессы
• разрабатывать и оптимизировать алгоритмы обработки данных, включая векторный поиск и RAG
• создавать и развивать системы мониторинга метрик качества работы моделей
• взаимодействовать с командами разработки и аналитики при проектировании и реализации технических решений

Skills

Data Engineer 3+ лет

SQL

Python

Реляционные БД

Tools

Apache Spark

Hadoop

Apache Kafka

Apache Flink

Git

Docker

Kubernetes

Job description

Rambler&Co ищет опытного Data Engineer для разработки и оптимизации ETL/ELT процессов и обработки больших данных. Ваша работа будет включать проектирование архитектур потоковой обработки, векторного поиска и RAG, а также создание систем мониторинга метрик качества моделей.

Требуется минимальный опыт 3 года, владение SQL и Python, знание Spark/Hadoop, Kafka/Flink, Docker, Kubernetes, Git и опыт работы с облачными платформами. Ожидается участие в межкомандной разработке в гибридном формате.