Arquiteto de Dados Sênior - Projeto Internacional

DTI Digital; Brasil; Teletrabalho; BRL 150 000 - 230 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Plano de saúde

Vale-refeição/alimentação

Auxílio home office

Parcerias educacionais

Resumo da oferta

A DTI Digital procura profissional para atuar como engenheiro de dados sênior em nosso Lakehouse. Você irá projetar e gerenciar pipelines com Databricks Delta Live Tables, mantendo governança com Unity Catalog e validações de qualidade de dados.

É esperado domínio de PySpark, Spark SQL e Python, além de Terraform eCI/CD para automação. Inglês avançado é desejável, trabalhando com times globais.

Qualificações

• Experiência prática robusta em Databricks: PySpark, Spark SQL, Delta Lake, Delta Live Tables e Unity Catalog.
• Python e SQL avançados com boas práticas de desenvolvimento (clean code, testes).
• Experiência em pipelines de ingestão de arquivos Parquet/Delta via AWS S3 e orquestração em produção.
• Conhecimento de Terraform e CI/CD (Git, deploys entre ambientes).
• Compliance com RBAC e políticas de segurança de dados.
• Inglês avançado para atuação com equipes globais.

Responsabilidades

• Automação e infraestrutura: provisionar/workspaces de dados em Dev/Acc/Prd com IaC (Terraform) e CI/CD.
• Engenharia de Pipelines (DLT): desenvolver e otimizar pipelines de ingestão e transformação com Delta Live Tables.
• Garantir governança federada via Unity Catalog e qualidade de dados com validações automatizadas.
• Automação de fontes não estruturadas: ingestão de arquivos e planilhas para pipelines auditáveis no Lakehouse.
• Catalogar ativos, mapear linhagem de dados e gerar documentação técnica no Unity Catalog.

Conhecimentos

Databricks

PySpark

Spark SQL

Delta Live Tables

Unity Catalog

Python

SQL

AWS S3

Terraform

CI/CD

RBAC / Segurança de dados

Inglês avançado

Ferramentas

Databricks

Delta Lake

Delta Live Tables

Unity Catalog

Terraform

CI/CD (Git)

AWS S3

Descrição da oferta de emprego

ESTAMOS PROCURANDO UMA PESSOA QUE:

• Seja apaixonada por solucionar problemas, promover inovações e desenvolver soluções de dados de alta performance;
• Tenha um bom pensamento lógico e muita vontade de aprender e crescer junto com a dti digital;
• Seja focada, analítica e proativa para lidar com os desafios do dia a dia e governança no Lakehouse;
• Goste de trabalhar em equipe e se comunicar bem com times globais para colaborar nos tempos de desenvolvimento e entrega;
• Seja criativa: capaz de investigar causas-raiz, proporcionar melhorias contínuas nos pipelines e arquiteturas existentes;
• E que se identifique com a nossa cultura!

RESPONSABILIDADES E ATRIBUIÇÕES

• Automação & Infraestrutura: Provisionar e manter workspaces de dados em múltiplos ambientes (Dev, Acc, Prd) aplicando conceitos de Infraestrutura como Código (IaC) com Terraform e esteiras de CI/CD.
• Engenharia de Pipelines (DLT): Desenvolver e otimizar pipelines automatizados de ingestão e transformação via Databricks Delta Live Tables (DLT) para as camadas Bronze e Silver, garantindo governança federada através do Unity Catalog.
• Qualidade de Dados (Data Quality): Implementar e monitorar validações automatizadas de qualidade de dados nativas do DLT (Expectations) e alertas em produção.
• Automação de Fontes Não Estruturadas: Projetar e automatizar fluxos de ingestão para fontes de dados manuais/recorrentes (arquivos, planilhas e reportes periódicos), convertendo-os em pipelines auditáveis no Lakehouse.
• Governança & Documentação: Catalogar ativos, mapear linhagem de dados e produzir documentação técnica detalhada das tabelas e regras de negócio no Unity Catalog, prevenindo o acúmulo de débitos técnicos.

REQUISITOS E QUALIFICAÇÕES

• Domínio prático e experiência robusta em Databricks: PySpark, Spark SQL, Delta Lake, Delta Live Tables (DLT) e Unity Catalog.
• Python e SQL avançados, com sólida bagagem em boas práticas de desenvolvimento de software (clean code, reutilização e testes).
• Experiência em pipelines de ingestão de arquivos colunares (Parquet, Delta) via AWS S3 e orquestração de dados em ambiente de produção.
• Experiência prática com Terraform e processos de CI/CD (Git, automação de deploys entre ambientes).
• Vivência na implementação de regras de Data Quality e gestão de controle de acesso (RBAC / políticas de segurança de dados).
• Inglês avançado para atuação direta com equipes globais de plataforma, participação em cerimônias diárias e elaboração de documentações.

EXPERIÊNCIAS/CONHECIMENTOS DIFERENCIAIS:

• Conhecimento da estrutura de tabelas de ERPs enterprise (SAP FI/CO) e ferramentas de extração associadas (ex: Theobald Xtract Universal).
• Experiência prática com arquitetura/modelagem Data Vault 2.0 (Hubs, Links, Satellites).
• Experiência com conectores modernos de dados ou integração via APIs REST (ex: dltHub, conectores Python customizados).
• Familiaridade e uso no dia a dia de ferramentas de IA para aceleração de código/engenharia (ex: Claude Code, GitHub Copilot, Databricks Assistant/Genie).
• Certificação ativa Databricks Data Engineer (Associate ou Professional).

BENEFÍCIOS DE TRABALHAR COM A DTI:

• Previdência Privada (Para cada real depositado pelo colaborador, limitado a 6% do salário, adticomplementa com o mesmo valor);
• Plano Odontológico;
• Vale Refeição e/ou Vale alimentação (R$890/mês);
• Plano de Saúde sem desconto para o colaborador e dependentes;
• Auxílio home office de 120,00;
• TotalPass para desconto em academias, estúdios, aulas on-line e muito mais;
• Parceria com SESC para desconto em acomodações e atividades de lazer;
• Reembolso de certificação;
• Desconto em cursos de inglês com a Open English, Cultura Inglesa, CNA e EHeadset;
• Parceria com USP/ESALQ: descontos em cursos de pós-graduação e especialização;
• Parceria com a PUC-RS: desconto em cursos de graduação, pós-graduação, especialização, idiomas e certificações;
• Parceria com FIAP: desconto em cursos de graduação e pós-graduação;
• Parceria com FIA: desconto em cursos de graduação e pós-graduação;
• Parceria com a ESPM: desconto em cursos de pós-graduação e cursos de curta duração;
• Plano de saúde para seus pets;
• Descontos em Farmácias-Drogasil e Droga Raia;
• Ambiente descontraído, flexível e com feedbacks constantes;
• Rotina com aprendizado constante, com Tech Shots, Mentorias, Rodas de Conversa e Knowledge Transfers.

E aí, se identificou com a nossa cultura? Então corre para se inscrever

Se o seu currículo for selecionado para a primeira fase do nosso processo seletivo, entraremos em contato, então fique atento ao seu e-mail (inclusive na pasta do spam) e telefone, ok? Caso seu currículo não seja triado, não enviamos feedback, mas você ficará no nosso banco de currículos e poderá se candidatar novamente em outro momento ;).