Overview
Buscamos um(a) profissional para atuar na interseção entre Engenharia de Dados e Inteligência Artificial na plataforma Microsoft Azure. O(a) candidato(a) ideal será responsável por construir a infraestrutura de dados moderna que alimenta soluções de Machine Learning e IA Generativa, desde a ingestão e transformação de dados até a implantação de modelos em produção. Este papel híbrido combina expertise em arquitetura de dados com desenvolvimento de soluções de IA utilizando Azure OpenAI, Azure Machine Learning e todo o ecossistema de dados Azure. Qual será o seu papel?
Responsabilidades
- Arquitetar e implementar soluções de Data Lakehouse utilizando Azure Data Lake Storage Gen2, Delta Lake e Azure Synapse Analytics
- Desenvolver pipelines de ETL / ELT escaláveis com Azure Data Factory, Synapse Pipelines e Azure Databricks
- Construir arquiteturas de streaming em tempo real com Azure Event Hubs, Stream Analytics e Kafka
- Implementar soluções de Data Mesh e governança de dados com Microsoft Purview
- Modelar dados dimensionais e criar camadas de dados (bronze, silver, gold) para consumo analítico e de ML
- Otimizar performance de consultas e custos de armazenamento / processamento na plataforma Azure
- Garantir qualidade de dados com frameworks de data quality e testes automatizados
- Projetar e implementar arquiteturas de IA Generativa utilizando Azure OpenAI Service (GPT-4, embeddings, fine-tuning)
- Desenvolver pipelines de Machine Learning end-to-end com Azure Machine Learning, desde feature engineering até produção
- Criar e otimizar sistemas RAG (Retrieval-Augmented Generation) com Azure AI Search e Azure Cosmos DB
- Implementar feature stores e pipelines de feature engineering para modelos de ML
- Aplicar práticas de MLOps para versionamento, monitoramento e governança de modelos
- Desenvolver APIs e microsserviços para exposição de modelos via Azure Functions e Container Apps
- Integrar soluções de IA com pipelines de dados para processamento de documentos, imagens e texto não estruturado
Qualificações
- Experiência sólida com Azure Data Factory, Azure Synapse Analytics e Azure Databricks
- Proficiência em SQL avançado, PySpark e frameworks de processamento distribuído
- Conhecimento em Delta Lake, Apache Iceberg ou formatos de tabela open-source
- Experiência com Azure Event Hubs, Kafka e arquiteturas de streaming
- Domínio de modelagem dimensional (Kimball, Data Vault) e arquiteturas Lakehouse
- Experiência com Azure Cosmos DB, Azure SQL e bancos de dados NoSQL
- Proficiência em Python e bibliotecas de ML / DL (scikit-learn, TensorFlow, PyTorch, Hugging Face)
- Experiência comprovada com Azure Machine Learning e Azure OpenAI Service
- Conhecimento sólido em LLMs, prompt engineering, fine-tuning e técnicas de RAG
- Experiência com bancos de dados vetoriais (Azure AI Search, Pinecone, Weaviate, Chroma)
- Conhecimento em Azure AI Services (Document Intelligence, Speech, Vision)
- Graduação em Ciência da Computação, Engenharia, Matemática, Estatística ou áreas correlatas
- Experiência mínima de 4 anos com engenharia de dados e / ou machine learning
- Experiência com infraestrutura como código (Terraform, Bicep, ARM Templates)
- Domínio de práticas de DevOps / MLOps, CI / CD com Azure DevOps ou GitHub Actions
- Conhecimento em containers (Docker, Kubernetes, AKS)
- Inglês técnico avançado para documentação e reuniões
Diferenciais
- Certificações Azure: DP-203 (Data Engineer), AI-102 (AI Engineer), DP-100 (Data Scientist), AZ-305 (Solutions Architect)
- Certificação Databricks (Data Engineer Associate / Professional)
- Mestrado ou Doutorado em áreas relacionadas à IA / ML ou Engenharia de Dados
- Experiência com Semantic Kernel, LangChain ou frameworks de orquestração de LLMs
- Experiência com Microsoft Fabric
- Conhecimento em dbt (data build tool) para transformações
- Contribuições em projetos open source ou publicações na área
Benefícios
- Vale refeição;
- Vale alimentação;
- Vale combustível;
- Plano de saúde;
- Plano odontológico;
- Seguro de vida;
- Auxílio Creche;
- Auxílio crianças com deficiência;
- Convênio Farmácia;
- PLR;
- TotalPass;
- Integra (Programa Qualidade de Vida);
Trabalho Híbrido
- Apoio a certificações;
- Day off no mês do seu aniversário;
VemPraENG!