Engenheiro de Dados

Distrito; São Paulo; Presencial; BRL 180 000 - 280 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Vale-refeição/vale-alimentação

Convênio médico

Plano odontológico

Seguro de vida

Ambiente dinâmico

Oportunidades de crescimento

Resumo da oferta

A Distrito, com atuação em São Paulo, procura um Data Engineer focado em AI para construir a infra que viabiliza ML e aplicações de Generative AI. O papel exige foco em arquitetura, escalabilidade e performance.

Você garantirá dados confiáveis, acessíveis e escaláveis para treinamento e inferência, trabalhando com data lakes, data warehouses, indexação vetorial e pipelines de embeddings.

Qualificações

• Experiência com pipelines de dados para ML/AI.
• Conhecimento avançado de SQL e modelagem de dados.
• Experiência com ETL/ELT em ambientes distribuídos.

Responsabilidades

• Construir pipelines de ingestão batch e streaming.
• Estruturar data lakes e data warehouses.
• Criar datasets otimizados para ML.
• Implementar pipelines de embeddings.
• Construir indexação vetorial para RAG.
• Garantir qualidade, governança e segurança de dados.
• Otimizar custos de armazenamento e processamento.
• Colaborar com AI Engineers para estruturar feature stores.

Conhecimentos

Python

SQL avançado

Pandas

PySpark

Spark

Airflow

dbt

Prefect

Kubernetes

Docker

Ferramentas

BigQuery

Snowflake

S3/GCS/Azure Blob

FAISS / Pinecone

Descrição da oferta de emprego

• Implementar pipelines de embeddings
• Scala (opcional)
• Prefect
• Pandas
• Bancos NoSQL

O Data Engineer focado em AI é responsável por construir a infraestrutura que viabiliza Machine Learning e aplicações de Generative AI. Ele garante que dados estejam organizados, confiáveis, acessíveis e escaláveis para treinamento e inferência.

É um perfil orientado a arquitetura, escalabilidade e performance.

Responsabilidades

• Construir pipelines de ingestão batch e streaming
• Estruturar data lakes e data warehouses
• Criar datasets otimizados para ML
• Implementar pipelines de embeddings
• Construir indexação vetorial para RAG
• Garantir qualidade, governança e segurança de dados
• Otimizar custo de armazenamento e processamento
• Trabalhar com AI Engineers para estruturar feature stores

Requisitos

• Python
• SQL avançado
• Scala (opcional)

Orquestração & Transformação

• Apache Airflow
• dbt
• Prefect

Processamento de Dados

• Spark
• Pandas
• PySpark

Armazenamento

• Data Lakes (S3, GCS, Azure Blob)
• Data Warehouses (BigQuery, Snowflake, Redshift)
• Bancos NoSQL
• Bancos vetoriais (Pinecone, Weaviate, FAISS)

Streaming

• Kafka
• Pub/Sub

Infraestrutura

• Docker
• Kubernetes
• Cloud (AWS, GCP ou Azure)

Hard Skills

• Modelagem de dados
• ETL / ELT
• Processamento distribuído
• SQL avançado
• Arquitetura de dados escalável
• Experiência com dados não estruturados (texto, logs, PDF)
• Conceitos de DataOps
• Versionamento e qualidade de dados

Benefícios

• Vale-refeição e/ou vale-alimentação de R$950,00 por mês no cartão Ifood
• Convênio Médico SulAmérica (100% custeado pela empresa)
• Plano Odontológico MetLife
• Plano de saúde Pet
• Seguro de vida
• Totalpass e Wellhub para manter as atividades físicas a qualquer hora e lugar
• Birthday Day Off para curtir no seu aniversário como quiser
• Parceria com o Sesc
• Parceria com a OnHappy (descontos em hotéis e passagens)
• Parceria com instituições de ensino
• Reembolso creche
• Equipamentos de trabalho (Pode parecer óbvio, mas achamos importante reforçar)
• Cultura de feedback e desenvolvimento
• Ambiente dinâmico e com grandes oportunidades de crescimento
• Empréstimo consignado com as menores taxas de juros
• Remuneração variável em reconhecimento de desempenho, performance e alinhamento de cultura