Engenheiro de Dados Sênior

Insi; Brasil; Presencial; BRL 180 000 - 260 000; Tempo integral

Resumo da oferta

A Insi procura um(a) Data Engineer para atuar na construção e evolução de uma plataforma de dados de missão crítica, responsável por processar grandes volumes de dados em tempo real, garantindo alta disponibilidade, escalabilidade e qualidade.

Você fará parte de um time de engenharia responsável pelo desenvolvimento de pipelines críticos para o negócio, utilizando tecnologias modernas do ecossistema Apache Spark e Databricks, sempre com foco em confiabilidade operacional, observabilidade e

Qualificações

• Experiência sólida em Engenharia de Dados.
• Domínio de Apache Spark.
• Experiência com Scala e PySpark.
• Experiência prática com Databricks.
• Conhecimento em Unity Catalog e MongoDB.
• Desenvolvimento de pipelines em tempo real (Streaming).
• Ambientes com alta disponibilidade e sistemas críticos.
• Conhecimento em arquitetura Lakehouse e Delta Lake.
• Git e práticas de versionamento.

Responsabilidades

• Desenvolver e manter pipelines de dados batch e streaming de alta disponibilidade.
• Projetar soluções escaláveis utilizando Spark, Scala e PySpark.
• Desenvolver aplicações distribuídas no Databricks.
• Implementar pipelines de ingestão, transformação e disponibilização de dados em tempo real.
• Trabalhar com arquitetura Lakehouse utilizando Unity Catalog para governança de dados.
• Integrar diferentes fontes de dados, incluindo MongoDB e demais sistemas transacionais.
• Atuar em ambientes cloud, com foco em serviços da Microsoft Azure.
• Garantir alta performance, resiliência e escalabilidade das soluções de engenharia de dados.
• Implementar mecanismos de monitoramento, observabilidade e alertas para pipelines críticos.
• Definir e evoluir controles de qualidade dos dados (Data Quality).
• Atuar na identificação e resolução de incidentes em ambientes críticos.
• Colaborar com arquitetos, cientistas de dados, analistas e demais equipes de tecnologia.
• Promover boas práticas de desenvolvimento, testes, versionamento e CI/CD.

Conhecimentos

Trabalho em equipe

Boa comunicação

Ferramentas

Apache Spark

Scala

PySpark

Databricks

Unity Catalog

MongoDB

Delta Lake

Git

Azure

Kafka

Descrição da oferta de emprego

Atribuições Principais

Construção e implementações de arquiteturas com Data Warehouse e Datalake;

O que procuramos?

Atribuições Principais

• Construção e implementações de arquiteturas com Data Warehouse e Datalake;
• Liderar como referência soluções técnicas de Data Analytics;
• Criar e definir modelos de repositórios de dados;
• Desenvolver estratégias de aquisição de dados, recuperação de informação, implementação de dutos de processamento e armazenamento;
• Apoiar nas definições técnicas do ecossistema de Big Data;
• Desenvolver e manter processos de consumo, tratamento, controle/segurança e disponibilização de dados para diferentes consumidores;
• Levantando possíveis riscos de acordo com o parecer técnico pelas áreas de apoio emitidas;
• Apoiar/viabilizar testes de desempenho (desempenho);
• Apoiar a migração de dados de sistemas legados para novas soluções.

Requisitos

Sobre a oportunidade

Estamos em busca de uma pessoa Data Engineer para atuar na construção e evolução de uma plataforma de dados de missão crítica, responsável por processar grandes volumes de dados em tempo real, garantindo alta disponibilidade, escalabilidade e qualidade.

Você fará parte de um time de engenharia responsável pelo desenvolvimento de pipelines críticos para o negócio, utilizando tecnologias modernas do ecossistema Apache Spark e Databricks, sempre com foco em confiabilidade operacional, observabilidade e excelência técnica.

Responsabilidades

• Desenvolver e manter pipelines de dados batch e streaming de alta disponibilidade.
• Projetar soluções escaláveis utilizando Spark, Scala e PySpark.
• Desenvolver aplicações distribuídas no Databricks.
• Implementar pipelines de ingestão, transformação e disponibilização de dados em tempo real.
• Trabalhar com arquitetura Lakehouse utilizando Unity Catalog para governança de dados.
• Integrar diferentes fontes de dados, incluindo MongoDB e demais sistemas transacionais.
• Atuar em ambientes cloud, com foco em serviços da Microsoft Azure.
• Garantir alta performance, resiliência e escalabilidade das soluções de engenharia de dados.
• Implementar mecanismos de monitoramento, observabilidade e alertas para pipelines críticos.
• Definir e evoluir controles de qualidade dos dados (Data Quality), assegurando consistência, completude, integridade e confiabilidade das informações.
• Atuar na identificação e resolução de incidentes em ambientes críticos.
• Colaborar com arquitetos, cientistas de dados, analistas e demais equipes de tecnologia na construção de soluções orientadas a dados.
• Promover boas práticas de desenvolvimento, testes, versionamento e CI/CD.

Requisitos Obrigatórios

• Experiência sólida em Engenharia de Dados.
• Domínio de Apache Spark.
• Experiência com Scala.
• Experiência com PySpark.
• Experiência prática com Databricks.
• Conhecimento em Unity Catalog.
• Experiência com MongoDB.
• Desenvolvimento de pipelines de dados em tempo real (Streaming).
• Experiência com processamento distribuído de grandes volumes de dados.
• Vivência em ambientes de alta disponibilidade e sistemas críticos.
• Experiência com Microsoft Azure, incluindo serviços voltados para dados e analytics.
• Conhecimento em arquitetura Lakehouse.
• Experiência com Git e práticas de versionamento.

Diferenciais

• Experiência com AWS.
• Conhecimento em Delta Lake.
• Experiência com Apache Kafka ou outras plataformas de streaming.
• Conhecimento em arquiteturas orientadas a eventos.
• Experiência com DataOps.
• Conhecimento em Data Observability.
• Certificações Microsoft Azure.
• Vivência em ambientes financeiros ou de missão crítica.

O que esperamos

• Qualidade dos dados como prioridade.
• Monitoramento contínuo e observabilidade dos pipelines.
• Alta disponibilidade e resiliência das soluções.
• Performance e escalabilidade.
• Automação e melhoria contínua.
• Boas práticas de engenharia de software e dados.
• Colaboração, protagonismo e compartilhamento de conhecimento.

Stack TecnológicaObrigatória

• Microsoft Azure
• Databricks
• Apache Spark
• Scala
• PySpark
• Unity Catalog
• MongoDB
• Delta Lake
• Git
• Streaming (Real Time)
• Lakehouse Architecture
• Data Quality
• Data Observability
• CI/CD
• Apache Kafka
• Arquiteturas orientadas a eventos

Desejável

• AWS
• DataOps

Localidade Da Posição

Quem é a Insi?

Somos uma consultoria especializada em evolução digital. Mas, acima de tudo, somos uma empresa de gente. Gente que ouve antes de propor. Que vai ao essencial antes de apresentar solução. Que mede sucesso pelo que mudou de verdade, não pelo que foi implementado.

Com mais de três décadas de história e presença global, acreditamos que a verdadeira transformação começa dentro: dentro das pessoas, das equipes, das organizações — e é essa convicção que orienta cada escolha que fazemos, cada projeto que entregamos, cada pessoa que desenvolvemos.

Por que construir sua carreira na Insi?

Porque aqui você pensa, decide e cria junto. Oferecemos autonomia, metas claras e um ambiente onde os Insiders têm espaço para interagir com diferentes tecnologias, participar de projetos desafiadores, trazer novas ideias e trabalhar de qualquer lugar do Brasil e (por que não?) do mundo.

Somos uma das melhores empresas para se trabalhar no Brasil segundo o Great Place to Work e estamos entre os 10 melhores empregadores do Brasil segundo a revista TIME.

Quais são nossos valores?

• Somos pessoas servindo pessoas
• Pensamos e agimos como donos
• Temos gana por performance
• Crescemos e aprendemos juntos
• Buscamos excelência e a simplicidade
• Atuamos com criatividade e inovação

Todas as pessoas são bem-vindas independentemente de sua condição, deficiência, etnia, crença religiosa, orientação sexual, aparência, idade ou afins. Queremos que você cresça conosco em um ambiente acolhedor e repleto de oportunidades.