Arquiteto de Dados

Insi; Brazil; Remote; BRL 240,000 - 420,000; Full time

Job summary

A Insi está com vaga para Especialista em Databricks, Arquitetura e Streaming. O profissional será referência técnica para desenhar, decidir e evoluir a arquitetura de dados, com foco em Lakehouse (Databricks) e streaming em tempo real (Kafka).

Requisitos Obrigatórios incluem experiência sólida com Databricks, Unity Catalog, tuning de Spark, Kafka (Confluent/MSK) e Schema Registry. Local 100% remoto, atuação nacional, com atuação estratégica e liderança técnica.

Qualifications

• Experiência sólida com Databricks em produção (Workspaces, Clusters, Jobs/Workflows, Databricks SQL e Repos).
• Governança com Unity Catalog e organização em catálogos, schemas e volumes.
• Otimização de Spark e controle de custos (particionamento, AQE, Photon, clusters).
• Experiência avançada com Apache Kafka (Confluent, MSK ou Event Hubs com Kafka API).
• Schema Registry (Avro/Protobuf/JSON Schema) e estratégias de compatibilidade.
• Kafka Connect e CDC (Debezium ou equivalentes).
• Pandas/SQL/ PySpark e Python para transformação de dados (PySpark).
• Nível de comunicação para registrar ADRs e padrões de governança.

Responsibilities

• Definir e evoluir a arquitetura de referência de dados (batch e tempo real).
• Construir e manter pipelines de streaming críticos, de baixa latência e alta disponibilidade.
• Tomar e documentar decisões técnicas, conduzindo design reviews.
• Otimizar custo e performance da plataforma Databricks.
• Garantir governança, segurança e qualidade dos dados.
• Apoiar e desenvolver tecnicamente o time de engenharia de dados.

Skills

Databricks

Lakehouse

Kafka

PySpark

SQL avançado

Cloud (Azure/AWS/GCP)

Governança de dados

ADR/Arquitetura de decisões

Data Streaming/Streaming em tempo real

Tuning de Spark/Perfomance/DBUs

Tools

Databricks

Confluent

Kafka Connect

Schema Registry

MSK

Event Hubs

Job description

Acompanhar soluções de arquitetura relacionadas ao armazenamento e integração de dados;

Desenhar soluções de arquitetura relacionadas ao armazenamento e integração de dados;

Apoiar os PMOs na obtenção de dados, organização e acompanhamento de projetos;

Elaborar planos de execução, comunicação e acompanhamento de projeto;

Elaborar indicadores e garantir as entregas de pacotes de serviço e atividades a serem desempenhadas para a execução do projeto;

Traduzir grandes volumes de informação em decisões de negócio efetivas;

Definir e supervisionar a estratégia de migração de dados de sistemas legados para novas soluções.

Requisitos:

Especialista: Databricks, Arquitetura e Streaming

Missão da posição

Desenhar, decidir e evoluir a arquitetura de dados da empresa, principalmente as plataformas Lakehouse (Databricks) e de streaming em tempo real (Kafka). A pessoa atua como referência técnica e responde pelas escolhas de arquitetura.

Requisitos obrigatórios

Databricks e Lakehouse

• Experiência sólida em Databricks em produção: Workspaces, Clusters, Jobs/Workflows, Databricks SQL e Repos.
• Unity Catalog: governança, lineage, controle de acesso e organização em catálogos, schemas e volumes.
• Tuning de Spark e controle de custos: particionamento, AQE, Photon, dimensionamento de clusters, serverless e análise de DBUs.
• Experiência avançada com Apache Kafka (Confluent, MSK ou Event Hubs com Kafka API): tópicos, partições, replicação, consumer groups, offsets e retenção/compaction.
• Schema Registry (Avro/Protobuf/JSON Schema) e estratégias de compatibilidade.
• Kafka Connect e CDC (Debezium ou equivalentes).
• Saber lidar com dados fora de ordem, duplicidade, late data, backpressure e reprocessamento (replay).
• Ter dimensionado throughput e latência e monitorado consumer lag.

Arquitetura e tomada de decisão

• Ter desenhado arquiteturas de dados ponta a ponta (batch + streaming, Lambda/Kappa, Lakehouse, Data Mesh).
• Capacidade de avaliar trade-offs (custo, latência, complexidade, governança) e registrar decisões, por exemplo em ADRs.
• Definir padrões, boas práticas e guardrails para o time.
• Comunicar decisões técnicas para áreas de negócio e para a liderança.
• Python (PySpark) e SQL avançado. Scala é um diferencial.
• Cloud: Azure, AWS ou GCP, incluindo storage, rede, IAM e segurança.
• Qualidade e observabilidade de dados: expectations, testes, data contracts e alertas.

Diferenciais

• Certificações: Databricks Certified Data Engineer Professional, Confluent Certified Developer/Administrator for Apache Kafka.
• Experiência com MLOps e Feature Store no Databricks (MLflow).
• Contexto em setores regulados (financeiro, seguros) e LGPD.
• Experiência como Tech Lead ou mentor de engenheiros.
• Migração de plataformas legadas (Hadoop, DW on-premises) para Lakehouse.

Principais responsabilidades

• Definir e evoluir a arquitetura de referência de dados (batch e tempo real).
• Construir e manter pipelines de streaming críticos, de baixa latência e alta disponibilidade.
• Tomar e documentar decisões técnicas, conduzindo design reviews.
• Otimizar custo e performance da plataforma Databricks.
• Garantir governança, segurança e qualidade dos dados.
• Apoiar e desenvolver tecnicamente o time de engenharia de dados.

Localidade da posição: 100% remota

Somos uma consultoria especializada em evolução digital. Mas, acima de tudo, somos uma empresa de gente. Gente que ouve antes de propor. Que vai ao essencial antes de apresentar solução. Que mede sucesso pelo que mudou de verdade, não pelo que foi implementado.

Com mais de três décadas de história e presença global, acreditamos que a verdadeira transformação começa dentro: dentro das pessoas, das equipes, das organizações — e é essa convicção que orienta cada escolha que fazemos, cada projeto que entregamos, cada pessoa que desenvolvemos.

Por que construir sua carreira na Insi?

Porque aqui você pensa, decide e cria junto. Oferecemos autonomia, metas claras e um ambiente onde os Insiders têm espaço para interagir com diferentes tecnologias, participar de projetos desafiadores, trazer novas ideias e trabalhar de qualquer lugar do Brasil e (por que não?) do mundo.

Somos uma das melhores empresas para se trabalhar no Brasil segundo o Great Place to Work e estamos entre os 10 melhores empregadores do Brasil segundo a revista TIME.

Quais são nossos valores?

• Somos pessoas servindo pessoas
• Pensamos e agimos como donos
• Crescemos e aprendemos juntos
• Buscamos excelência e a simplicidade
• Atuamos com criatividade e inovação

Todas as pessoas são bem-vindas independentemente de sua condição, deficiência, etnia, crença religiosa, orientação sexual, aparência, idade ou afins. Queremos que você cresça conosco em um ambiente acolhedor e repleto de oportunidades.

Se identificou? Então, #VemSerInsi!

A Insi é uma consultoria especializada em evolução digital, que atua como parceira estratégica de organizações em sua jornada de transformação, conectando diagnóstico, estratégia e execução para gerar resultados concretos. Com atuação global, mais de 2.700 colaboradores em 27 países e mais de 200 clientes, a empresa apoia negócios na identificação de oportunidades, no aumento da maturidade digital e na implementação de soluções que impulsionam eficiência, crescimento e competitividade.