Engenheiro de dados

Casado; Brazil; On-site; BRL 120,000 - 170,000; Full time

Job summary

Casado está recrutando Engenheiro(a) de Dados Pleno para projetar, desenvolver e operar pipelines de dados robustos que atendam necessidades analíticas e operacionais da empresa. Você trabalhará com Databricks, Spark, Python e SQL em ambiente distribuído, atuando na construção de data lakehouse, governança de dados e integração de fontes, com foco em qualidade, desempenho e disponibilidade.

Participará de iniciativas de CI/CD, DevOps e automação de deploy, alinhando arquitetura a metas de

Qualifications

• Experiência comprovada em engenharia de dados e backend com foco em processamento de dados.
• Domínio de Databricks, Workspace, Jobs e Delta Lake.
• Conhecimento prático de Spark, Python e SQL em ambientes distribuídos.
• Experiência com bancos relacionais, data warehouses e integração de dados.
• Visão de governança de dados e LGPD.

Responsibilities

• Projetar e implementar pipelines ETL/ELT em lote e streaming.
• Desenvolver soluções backend para processamento em larga escala (Spark, SQL, Python).
• Construir data lake/data lakehouse, modelos de dados e camadas de consumo.
• Otimizar desempenho de jobs e consultas (Spark, SQL, clusters).
• Praticar qualidade de dados: validações, testes, monitoramento e alertas.
• Integrar fontes de dados diversas (bancos, APIs, arquivos, mensagens, Oracle ERP).
• Orquestrar pipelines com Azure Data Factory ou similares.
• Colaborar com analistas e times de produto para traduzir necessidades em soluções.
• Garantir segurança, LGPD, governança de dados e gestão de acessos.
• Apoiar CI/CD, documentação e definições de arquitetura.

Skills

ETL pipelines

Back-end processing

Spark

Python

SQL

Data lake

Data Viz

CI/CD

Git

LGPD governance

Tools

Databricks

Azure Data Factory

Airflow

Prefect

Delta Lake

Oracle ERP

Job description

Buscamos uma pessoa para atuar como Engenheiro(a) de Dados Pleno , sendo responsável por projetar, desenvolver e operar pipelines de dados robustos e escaláveis , que suportem tantas necessidades analíticas quanto operacionais da companhia. Essa posição terá papel importante na construção de soluções de consumo, processamento e disponibilização de dados para BI e produtos internos, garantindo qualidade, desempenho, segurança e governança.É uma oportunidade para atuar em um ambiente com forte interação com tempos de produto e negócio, contribuindo para evolução da arquitetura de dados e sustentação de ambientes em produção. Experiência com Databricks e DataViz é essencial para a posição!

Quais serão suas responsabilidades?

• Projetar e implementar pipelines de ETL/ELT em lote e streaming para conversão, transformação e disponibilização de dados;
• Desenvolver soluções de back-end para processamento de dados em larga escala utilizando Spark, SQL e Python;
• Construir e manter estruturas de data lake/data lakehouse , modelos de dados e camadas de consumo;
• além de desempenho de jobs e consultas, incluindo tuning de Spark, SQL e clusters;
• Implementar práticas de qualidade de dados, como validações, testes automatizados, monitoramento e alertas;
• Integrar diferentes fontes de dados, como bancos relacionados, APIs, arquivos, mensagens e, quando aplicável, dados oriundos do Oracle ERP;
• Orquestrar pipelines usando ferramentas como Azure Data Factory ou similares;
• Atuar em parceria com analistas e times de produto para traduzir necessidades de negócio em soluções técnicas;
• Garantir segurança, compliance e boas práticas de governança de dados, considerando requisitos como LGPD , gestão de acessos e criptografia;
• Apoiar automatizações de implantação e operação com práticas de DevOps / CI-CD , além de documentação e participação em definições de arquitetura e governança.

O que é necessário para participar desse processo seletivo?

• Experiência prévia em engenharia de dados ou desenvolvimento back-end com foco em processamento de dados;
• Experiência com Databricks , especialmente com Workspace, Jobs e Delta Lake;
• Experiência prática com Apache Spark , Python e SQL em ambientes distribuídos;
• Experiência com bancos relacionais, data warehouses e integração de dados a partir de diferentes fontes;
• Conhecimento em data visualization;
• Conhecimento em ferramentas de orquestração como Azure Data Factory, Airflow, Prefect ou similares;
• Experiência em projetos em nuvem, especialmente Azure, e atuação em ambientes produtivos com alta disponibilidade;
• Familiaridade com práticas de CI/CD , versionamento com Git e qualidade/observabilidade de pipelines;
• Conhecimento em modelagem de dados dimensional e normalizada.