Data Engineer Specialist

Escale; São Paulo; Presencial; BRL 180 000 - 260 000; Tempo integral

Resumo da oferta

A Escale procura um(a) Data Engineer Specialist para escalar soluções de dados que orientem decisões estratégicas. Você trabalhará com pipelines modernos, unindo S3/Databricks, Airflow e dbt para transformar fontes variadas em insights acionáveis.

O papel envolve governança de dados, segurança de PII, infraestrutura como código (Terraform) e deployments via Kubernetes/EKS, contribuindo com melhorias contínuas e escalabilidade da plataforma de dados da empresa no ambiente de Sales Tech.

Qualificações

• Experiência em engenharia de software com Python, Java ou Scala e boas práticas (Clean Architecture, TDD).
• Arquitetura de dados Lambda e modelagem analítica.
• AWS, com ingestão centrada em S3.
• Databricks para processamento distribuído.
• Orquestração com Airflow.
• Infraestrutura como código com Terraform.
• Deploy/GitOps com ArgoCD (Kubernetes/EKS).
• Modelagem com dbt e governança de dados com OpenMetadata.
• Integração de pipelines com APIs de modelos de linguagem (OpenAI, Cohere, Hugging Face).
• Segurança e tratamento de dados sensíveis: PII, mascaramento e anonimização.

Responsabilidades

• Construir, manter e evoluir pipelines com S3 → Databricks/Airflow → dbt, escalando para maior volume de dados.
• Monitorar a esteira em produção e corrigir falhas
• Métricas de custo, qualidade de dados e consistência.
• Gerenciar infraestrutura como código (Terraform) e deploy via Kubernetes (EKS) e Argo.
• Garantir governança de dados com OpenMetadata e controle de acesso.
• Tratar dados sensíveis com mascaramento/anonimização.
• Definir ferramentas de self-service para ELT/ETL.
• Preparar dados para IA e modelos de linguagem; compatibilidade com RAG/embeddings.
• Avaliar novas tecnologias para a stack e manter produção estável.
• Suportar áreas internas com dúvidas técnicas e boas práticas de dados.

Conhecimentos

Python

Java

Scala

Clean Architecture

TDD

Lambda architecture

AWS

Databricks

Airflow

Terraform

ArgoCD

dbt

Kubernetes

OpenMetadata

OpenAI API

Hugging Face

DataOps

Security

Ferramentas

Airflow

Databricks

dbt

Terraform

ArgoCD

Kubernetes

Descrição da oferta de emprego

Estamos buscando um(a) Data Engineer Specialist para escalar com a gente.
Somos uma sales tech que coloca tecnologia, dados e inteligência artificial no centro das jornadas de vendas. Aqui, pessoas, inovação e alta performance caminham juntas para levar grandes marcas ao futuro da aquisição digital.
Buscamos alguém que curta desafios, tecnologia e aprendizado contínuo, e queira fazer parte dos Escalers, apaixonados por construir soluções que geram impacto. Aqui, quem escala com a gente evolui junto.
#FaçaParteDaEscalada: vem saber o que esperamos de você
A equipe busca um profissional orientado a desafios para integrar um ambiente colaborativo e transformar fontes de dados diversas em decisões estratégicas.

Resposabilidades

• Construir, manter e evoluir os pipelines da esteira S3 → Databricks/Airflow → dbt, escalando para o crescimento de volume da Escale;
• Monitorar a esteira em produção, identificar falha, atraso ou dado fora do padrão antes que o problema chegue no consumo, e ser quem corrige e ajusta o fluxo quando algo quebra;
• Metrificar e monitorar sistemas com foco em custo operacional, data quality e consistência dos dados;
• Gerenciar infraestrutura como código (Terraform) e deploy da plataforma de dados via Kubernetes (EKS) e Argo;
• Garantir governança do dado via OpenMetadata: disponibilidade, escalabilidade e controle de acesso do que está no lake e no warehouse;
• Tratar dado sensível com segurança, identificar PII e aplicar mascaramento/anonimização antes desse dado circular para consumo analítico ou produto;
• Definir e evoluir ferramentas de self-service (ELT / ETL) para reduzir dependência do time de dados em demandas simples;
• Estruturar e entregar dado pronto para uso em IA (modelos preditivos, LLMs), incluindo preparação para RAG/embeddings quando aplicável;
• Avaliar novas tecnologias para a stack e manter o que já está em produção funcionando bem, incluindo alternativas open-source;
• Suportar áreas internas que consomem a plataforma, resolvendo dúvida técnica e disseminando boa prática de uso do dado.
  

Requisitos

Obrigatórios

• Experiência com engenharia de software (Python, Java ou Scala) e boas práticas (ex.: Clean Architecture, TDD);
• Arquitetura de dados Lambda e modelagem analítica;
• AWS, com ingestão hoje centrada em S3;
• Databricks para processamento distribuído;
• Orquestração de pipeline com Airflow;
• Containers e Kubernetes Docker, Kubernetes, stateless e stateful);
• Infraestrutura como código com Terraform;
• Deploy/GitOps com ArgoCD (implantação declarativa via Kubernetes/EKS);
• Modelagem e transformação analítica com dbt;
• Governança de dados com OpenMetadata (disponibilidade, escalabilidade, linhagem, controle de acesso);
• Familiaridade com integração de pipelines com APIs de modelos de linguagem (ex.: OpenAI, Cohere, Hugging Face);
• Segurança e tratamento de dado sensível: identificação de PII, mascaramento, anonimização;
• Vivência de DataOps, monitoramento, alerta e correção de falha em pipeline em produção, não só construção.
  

Desejáveis

• Arquitetura Kappa como diferencial complementar à Lambda;
• Conhecimento em soluções open-source alternativas para ingestão, processamento e disponibilização de dados;
• Compreensão de boas práticas de segurança e governança de dados (framework DAMA) como referência conceitual;
• Familiaridade com integração de pipelines a APIs de modelos de linguagem (OpenAI, Cohere, Hugging Face);
• Interesse ou familiaridade com fundamentos de LLMs e IA generativa aplicada a dados;
• Experiência com processamento de dados em streaming (Kafka, Flink, Druid).