Pessoa Engenheira(o) de dados - Sênior

DTI Digital; Brasil; Teletrabalho; BRL 180 000 - 240 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Plano de Saúde

Vale Refeição/Alimentação

Auxílio home office

Previdência Privada

Descontos educativos

Resumo da oferta

A dti digital procura profissional para atuar como engenheiro(a) de dados, com foco em pipelines de alta performance usando Databricks Delta Live Tables, Delta Lake e governança com Unity Catalog. O candidato trabalhará com equipes globais, planejando soluções de ingestão, transformação e automação.

A função envolve Terraform, CI/CD, RBAC e práticas de Data Quality, contribuindo para um Lakehouse federado e bem documentado. Formação robusta em dados e habilidades de comunicação são essenciais.

Qualificações

• Domínio prático em Databricks: PySpark, Spark SQL, Delta Lake, DLT e Unity Catalog.
• Experiência prática com Terraform e processos de CI/CD (Git, deploys entre ambientes).
• Conhecimento de regras de Data Quality e gestão de controle de acesso (RBAC).
• Inglês intermediário/avançado para atuar com equipes globais.

Responsabilidades

• Automação & Infraestrutura: Provisionar e manter workspaces de dados em Dev, Acc, Prd com IaC (Terraform) e CI/CD.
• Engenharia de Pipelines (DLT): Desenvolver pipelines de ingestão/transformação com Delta Live Tables e governança federada pelo Unity Catalog.
• Qualidade de Dados: Implementar validações automáticas de qualidade de dados (DLT) e alertas em produção.
• Automação de Fontes Não Estruturadas: Projetar fluxos de ingestão para fontes manuais/recorrentes e torná-los pipelines auditáveis.
• Governança & Documentação: Catalogar ativos, mapear linhagem e documentar regras de negócio no Unity Catalog.

Conhecimentos

Inglês intermediário/avançado

Pensamento lógico

Trabalho em equipe

Comunicação com times globais

Ferramentas

Databricks

Delta Live Tables (DLT)

Delta Lake

Unity Catalog

PySpark

Spark SQL

Terraform

CI/CD

Descrição da oferta de emprego

ESTAMOS PROCURANDO UMA PESSOA QUE:

• Seja apaixonada por solucionar problemas, promover inovações e desenvolver soluções de dados de alta performance;


• Tenha um bom pensamento lógico e muita vontade de aprender e crescer junto com a dti digital;


• Seja focada, analítica e proativa para lidar com os desafios do dia a dia e governança no Lakehouse;


• Goste de trabalhar em equipe e se comunicar bem com times globais para colaborar nos tempos de desenvolvimento e entrega;


• Seja criativa: capaz de investigar causas-raiz, proporcionar melhorias contínuas nos pipelines e arquiteturas existentes;


• E que se identifique com a nossa cultura!

RESPONSABILIDADES E ATRIBUIÇÕES

• Automação & Infraestrutura: Provisionar e manter workspaces de dados em múltiplos ambientes (Dev, Acc, Prd) aplicando conceitos de Infraestrutura como Código (IaC) com Terraform e esteiras de CI/CD.


• Engenharia de Pipelines (DLT): Desenvolver e otimizar pipelines automatizados de ingestão e transformação via Databricks Delta Live Tables (DLT) para as camadas Bronze e Silver, garantindo governança federada através do Unity Catalog.


• Qualidade de Dados (Data Quality): Implementar e monitorar validações automatizadas de qualidade de dados nativas do DLT (Expectations) e alertas em produção.


• Automação de Fontes Não Estruturadas: Projetar e automatizar fluxos de ingestão para fontes de dados manuais/recorrentes (arquivos, planilhas e reportes periódicos), convertendo-os em pipelines auditáveis no Lakehouse.


• Governança & Documentação: Catalogar ativos, mapear linhagem de dados e produzir documentação técnica detalhada das tabelas e regras de negócio no Unity Catalog, prevenindo o acúmulo de débitos técnicos.

REQUISITOS E QUALIFICAÇÕES

• Domínio prático e experiência comprovada em Databricks: PySpark, Spark SQL, Delta Lake, Delta Live Tables (DLT) e Unity Catalog;


• Python e SQL avançados, com sólida bagagem em boas práticas de desenvolvimento de software (clean code, reutilização e testes);


• Experiência em pipelines de ingestão de arquivos colunares (Parquet, Delta) via AWS S3 e orquestração de dados em ambiente de produção;


• Experiência prática com Terraform e processos de CI/CD (Git, automação de deploys entre ambientes);


• Vivência na implementação de regras de Data Quality e gestão de controle de acesso (RBAC / políticas de segurança de dados);


• Inglês intermediário/avançado para atuação direta com equipes globais de plataforma, participação em cerimônias diárias e elaboração de documentações.

EXPERIÊNCIAS/CONHECIMENTOS DIFERENCIAIS:

• Conhecimento da estrutura de tabelas de ERPs enterprise (SAP FI/CO) e ferramentas de extração associadas (ex: Theobald Xtract Universal);


• Experiência prática com arquitetura/modelagem Data Vault 2.0 (Hubs, Links, Satellites);


• Experiência com conectores modernos de dados ou integração via APIs REST (ex: dltHub, conectores Python customizados);


• Familiaridade e uso no dia a dia de ferramentas de IA para aceleração de código/engenharia (ex: Claude Code, GitHub Copilot, Databricks Assistant/Genie);


• Certificação ativa Databricks Data Engineer (Associate ou Professional).

BENEFÍCIOS DE TRABALHAR COM A DTI:

• Previdência Privada (Para cada real depositado pelo colaborador, limitado a 6% do salário, a dti complementa com o mesmo valor);


• Plano Odontológico;


• Vale Refeição e/ou Vale alimentação (R$890/mês);


• Plano de Saúde sem desconto para o colaborador e dependentes;


• Auxílio home office de R$120,00;


• TotalPass para desconto em academias, estúdios, aulas on-line e muito mais;


• Parceria com SESC para desconto em acomodações e atividades de lazer;


• Reembolso de certificação;


• Desconto em cursos de inglês com a Open English, Cultura Inglesa, CNA e EHeadset;


• Parceria com USP/ESALQ: descontos em cursos de pós-graduação e especialização;


• Parceria com a PUC-RS: desconto em cursos de graduação, pós-graduação, especialização, idiomas e certificações;


• Parceria com FIAP: desconto em cursos de graduação e pós-graduação;


• Parceria com FIA: desconto em cursos de graduação e pós-graduação;


• Parceria com a ESPM: desconto em cursos de pós-graduação e cursos de curta duração;


• Plano de saúde para seus pets;


• Descontos em Farmácias-Drogasil e Droga Raia;


• Ambiente descontraído, flexível e com feedbacks constantes;


• Rotina com aprendizado constante, com Tech Shots, Mentorias, Rodas de Conversa e Knowledge Transfers.