Senior AI Platform Engineer (LLM, Multi-Cloud)

Openkrill; United States; Remote; USD 90,000 - 130,000; Full time

Benefits offered by this job

Plano de saúde e odontológico

Vale alimentação e refeição

Auxílio-creche

Licença parental estendida

PLR; Participação nos Lucros e Result/

Seguro de Vida

CI&T University – aprendizagem contínu

Clube de descontos

Plataforma de bem-estar

Job summary

CI&T está lançando uma posição de desenvolvedor Backend sênior para atuação em governança de modelos e integrações com LiteLLM, com atuação em ambiente multi-cloud e foco em observabilidade, performance e confiabilidade. A posição envolve desenvolvimento de APIs, avaliação de provedores de LLM e resolução de incidentes em produção.

É exigida experiência com Kubernetes, Docker, CI/CD, e ambientes de nuvem pública, além de fortes habilidades de investigação e colaboração com equipes de produtos e

Qualifications

• Experiência sólida em desenvolvimento backend (Kotlin/Java, Node.js).
• Conhecimentos em LLMs e aplicações baseadas em IA generativa.
• Conhecimento em integração e operação de modelos através de provedores como: Azure, OpenAI, Azure AI Foundry, AWS Bedrock, GCP Vertex AI.
• Conhecimento de LLM routing, load balancing, fallback, streaming, token management e prompt caching.
• Conhecimento de PostgreSQL e/ou MongoDB.
• Experiência com observabilidade e monitoramento, incluindo Grafana, Prometheus e ferramentas similares.
• Conhecimento de métricas de aplicações distribuídas, como latência, throughput, error rate, p90/p95/p99, TTFT e consumo de tokens.
• Conhecimento de MCP (Model Context Protocol) e conceitos relacionados à integração de agentes
• Conhecimento de AI Agents / Agentic AI
• Conhecimento de RAG (Retrieval-Augmented Generation) e seus principais componentes
• Experiência com Docker e Kubernetes
• Experiência com Git e pipelines de CI/CD
• Experiência em desenvolvimento e operação de sistemas em cloud pública
• Capacidade de atuar em sistemas distribuídos, investigando problemas que podem envolver múltiplos serviços, aplicações, clouds e provedores
• Boa capacidade de investigação e troubleshooting, incluindo análise de logs, métricas, traces e comportamento dos serviços

Responsibilities

• Desenvolver e evoluir as soluções de governança de modelos, provedores, configurações, tenants e políticas da plataforma, mecanismos de roteamento, load balancing, fallback, controle de custos e políticas de utilização dos modelos
• Desenvolver e evoluir as camadas de integração com a LiteLLM, atuando na camada de inferência, roteamento e diferentes provedores de LLM
• Integrar e operar modelos e serviços de IA em diferentes clouds, incluindo Azure OpenAI, Azure AI Foundry, AWS Bedrock e GCP Vertex AI
• Implementar e evoluir mecanismos de observabilidade, incluindo métricas, logs, traces e dashboards para acompanhamento de latência, throughput, erros, consumo e custos
• Investigar e solucionar incidentes e problemas reportados pelos usuários e consumidores da plataforma, atuando em conjunto com o time de suporte técnico da plataforma
• Participar do refinamento técnico de novas funcionalidades, entendendo o processo e a aplicação antes de propor ou implementar soluções
• Trabalhar na identificação de gargalos de performance, disponibilidade, escalabilidade e confiabilidade dos serviços
• Desenvolver APIs e integrações entre os componentes da plataforma, mantendo compatibilidade com serviços e consumidores existentes
• Contribuir para a evolução da arquitetura da plataforma, propondo melhorias técnicas e identificando riscos relacionados às mudanças
• Documentar decisões técnicas, integrações, configurações e procedimentos operacionais dos serviços
• Trabalhar de forma colaborativa com os demais times que utilizam a plataforma, ajudando a identificar problemas de integração e orientar o uso correto dos serviços
• Atuar com autonomia na investigação de problemas, buscando entender o processo, a aplicação e o impacto para o negócio, e não apenas o componente técnico isoladamente

Skills

Backend

Kotlin/Java

Node.js

LLMs

Cloud providers

Observability

Docker

Kubernetes

CI/CD pipelines

PostgreSQL/MongoDB

Tools

Docker

Kubernetes

Grafana

Prometheus

OpenTelemetry

LangChain

Git

Job description

CI&T está lançando uma posição de desenvolvedor Backend sênior para atuação em governança de modelos e integrações com LiteLLM, com atuação em ambiente multi-cloud e foco em observabilidade, performance e confiabilidade. A posição envolve desenvolvimento de APIs, avaliação de provedores de LLM e resolução de incidentes em produção.

É exigida experiência com Kubernetes, Docker, CI/CD, e ambientes de nuvem pública, além de fortes habilidades de investigação e colaboração com equipes de produtos e