Data Science | SR (Remote)

Compass UOL; Brasil; Presencial; BRL 120 000 - 180 000; Tempo integral

Resumo da oferta

A Compass UOL está buscando um(a) engenheiro(a) de ML para desenvolver modelos preditivos e pipelines de processamento de texto em bancos vetoriais, com foco em soluções de IA generativa e RAG.

O candidato ideal possui experiência prática com Databricks, LangChain e LangGraph, além de AWS Bedrock e Azure. Atuação com APIs, serviços em nuvem e pipelines de dados é essencial.

Qualificações

• Sólida experiência em Python e bibliotecas de ciência de dados.
• Experiência com modelos de ML e bibliotecas como Scikit-learn, XGBoost e LightGBM.
• Experiência prática com Large Language Models (LLMs) e IA Generativa, com foco em arquiteturas baseadas em agentes (RAG).
• Experiência com Databricks.
• Experiência com LangChain e LangGraph.
• Experiência com MLflow.
• Experiência com AWS Bedrock.
• Conhecimento em métricas de avaliação de modelos de linguagem (BLEU, ROUGE) é diferencial.
• Conhecimento em Azure além de AWS.

Responsabilidades

• Desenvolvimento de modelos preditivos e algoritmos de ML para resolver problemas complexos de negócio, conduzindo desde a exploração de dados até a validação e interpretação de resultados com impacto mensurável.
• Construção de pipelines de ingestão de texto em bancos vetoriais, utilizando AWS OpenSearch e APIs com LangChain/LangGraph integradas a OpenAI e AWS Bedrock.
• Validação de performance de sistemas RAG, considerando custos (tokens, latência) e qualidade das respostas, com indicadores como similaridade semântica, BLEU e ROUGE.
• Trabalho com serviços de nuvem AWS (S3, Lambda, Parameter Store, Secret Manager) e Azure, com arquiteturas serverless.
• Desenvolvimento de APIs e integração entre LangChain, LangGraph, OpenAI e plataformas de IA.

Conhecimentos

Python

Scikit-learn

XGBoost

LightGBM

Databricks

LangChain

LangGraph

MLflow

LLMs

RAG

Azure

AWS

OpenSearch

Ferramentas

OpenAI

AWS Bedrock

Azure Document Intelligence

Descrição da oferta de emprego

• Desenvolvimento de modelos preditivos e algoritmos de machine learning para resolver problemas complexos de negócio, conduzindo desde a exploração de dados até a validação e interpretação de resultados com foco em impacto mensurável.
• Utilização de Python (Scikit-learn, XGBoost, LightGBM), notebooks (Jupyter, Databricks), ferramentas de experimentação (MLflow) e bibliotecas estatísticas (Statsmodels, SciPy), aplicando técnicas supervisionadas, não supervisionadas e deep learning conforme a necessidade;
• Validação de performance de sistemas RAG, considerando métricas de custo (tokens e latência) e qualidade das respostas, utilizando indicadores como similaridade semântica, BLEU e ROUGE, entre outros.
• Desenvolvimento de pipelines de ingestão de texto em bancos vetoriais, com uso de AWS OpenSearch, bem como na construção de APIs utilizando LangChain e LangGraph, integradas a OpenAI e AWS Bedrock.
• Atuação com serviços de nuvem AWS (como S3, Lambda, Parameter Store e Secret Manager), além de arquiteturas serverless em AWS e Azure, aplicações conteinerizadas em ambiente AWS e uso de Azure Document Intelligence para extração e processamento de documentos.

Responsabilidades e atribuições

• Desenvolvimento de modelos preditivos e algoritmos de machine learning para resolver problemas complexos de negócio, conduzindo desde a exploração de dados até a validação e interpretação de resultados com foco em impacto mensurável.
• Utilização de Python (Scikit-learn, XGBoost, LightGBM), notebooks (Jupyter, Databricks), ferramentas de experimentação (MLflow) e bibliotecas estatísticas (Statsmodels, SciPy), aplicando técnicas supervisionadas, não supervisionadas e deep learning conforme a necessidade;
• Validação de performance de sistemas RAG, considerando métricas de custo (tokens e latência) e qualidade das respostas, utilizando indicadores como similaridade semântica, BLEU e ROUGE, entre outros.
• Desenvolvimento de pipelines de ingestão de texto em bancos vetoriais, com uso de AWS OpenSearch, bem como na construção de APIs utilizando LangChain e LangGraph, integradas a OpenAI e AWS Bedrock.
• Atuação com serviços de nuvem AWS (como S3, Lambda, Parameter Store e Secret Manager), além de arquiteturas serverless em AWS e Azure, aplicações conteinerizadas em ambiente AWS e uso de Azure Document Intelligence para extração e processamento de documentos.

Requisitos e qualificações

• Sólida experiência em Python;
• Experiência com modelos de Machine Learning e domínio de bibliotecas de Ciência de Dados, como Scikit-learn, XGBoost e LightGBM;
• Experiência prática com Large Language Models (LLMs) e soluções de IA Generativa, com ênfase em arquiteturas baseadas em agentes, incluindo RAG (Retrieval-Augmented Generation);
• Experiência com Databricks;
• Experiência com os frameworks LangChain e LangGraph;
• Experiência com ferramentas de experimentação (MLflow);
• Experiência com AWS Bedrock;
• Conhecimento em métricas de avaliação de modelos de linguagem, como BLEU e ROUGE, será considerado um diferencial;
• Além da experiência com AWS, é necessário possuir conhecimento em Azure;