Data Analyst & Data Engineer для LLM/AI аналитики

Top Selection; United States; Remote; USD 90.000 - 130.000; Vollzeit

Zusammenfassung

Top Selection ищет Data Analyst / Data Engineer для работы над проектной занятостью в IT-сфере. Основные задачи включают сбор и обработку данных из разных источников, создание витрин и дашбордов, а также разработку ETL/ELT пайплайнов и инструментов под AI-агентов.

Кандидат будет работать с Python, SQL и современными СУБД (PostgreSQL, Greenplum, Oracle), а также с S3, Superset и Streamlit. Привлекаются знания в области LLM, GenAI и RAG, с акцентом на исследование гипотез и оптимизацию процессов

Qualifikationen

• Отличное владение Python.
• Уверенная работа с pandas, Polars или аналогичными инструментами обработки данных.
• Уверенное знание SQL.
• Опыт работы с реляционными СУБД и хранилищами данных.
• Практический опыт разработки ETL/ELT-пайплайнов.
• Опыт работы хотя бы с одним инструментом оркестрации процессов обработки данных.
• Уверенное владение AI-инструментами для разработки: Claude Code, Codex или аналогами.
• Регулярное использование AI-инструментов в разработке и аналитике.
• Умение самостоятельно исследовать данные, формулировать гипотезы и находить способы их проверки.
• Опыт работы со структурированными и неструктурированными данными.
• Будет плюсом: Apache Airflow.

Aufgaben

• Сбор данных из внутренних сервисов, LLM Gateway, GitLab, Jira и логов AI-агентов.
• Проектирование и наполнение баз данных и аналитических витрин для оценки использования CodeGen-платформы.
• Анализ активности пользователей и сценариев использования AI-инструментов.
• Исследование утилизации ресурсов, качества, производительности и эффективности сервисов.
• Формулирование и проверка гипотез о влиянии LLM на процессы разработки, тестирования, аналитики и DevOps.
• Обработка структурированных и неструктурированных данных: логов, программного кода, merge request’ов, текстов и результатов работы LLM.
• Разработка ETL/ELT-пайплайнов для загрузки, обработки и регулярного обновления данных.
• Работа с S3, PostgreSQL, Greenplum, Oracle и другими источниками и хранилищами данных.
• Участие в создании RAG-решений: подготовка и индексация данных, наполнение векторных баз, разработка пайплайнов обновления индексов.
• Создание инструментов поиска и получения данных для AI-агентов.
• Подготовка продуктовых и технических метрик, дашбордов и визуализаций с использованием Superset, Streamlit и Python.

Kenntnisse

Python

Pandas/Polars

SQL

Data analysis

Tools

PostgreSQL

Greenplum

Oracle

S3

Superset

Streamlit

Apache Airflow

Jobbeschreibung

Top Selection ищет Data Analyst / Data Engineer для работы над проектной занятостью в IT-сфере. Основные задачи включают сбор и обработку данных из разных источников, создание витрин и дашбордов, а также разработку ETL/ELT пайплайнов и инструментов под AI-агентов.

Кандидат будет работать с Python, SQL и современными СУБД (PostgreSQL, Greenplum, Oracle), а также с S3, Superset и Streamlit. Привлекаются знания в области LLM, GenAI и RAG, с акцентом на исследование гипотез и оптимизацию процессов