Profissional Arquiteto de Engenharia de Dados

Radix; Brasil; Remote; BRL 180,000 - 280,000; Full time

Job summary

A Radix busca um Arquiteto de Engenharia de Dados para desenhar, implantar e sustentar soluções Lakehouse com foco em Databricks e pipeline de dados escaláveis no Brasil.

O candidato ideal tem experiência com Databricks, Apache Spark, PySpark, SQL, Delta Lake e governança de dados, além de trabalhar com dados OT e séries temporais de ambientes industriais. Colaboração próxima com times técnicos e negócios é essencial.

Qualifications

• Experiência sólida em Databricks, Apache Spark, PySpark, SQL, Delta Lake e Unity Catalog.
• Conhecimento de Workflows, Delta Live Tables e modelagem de dados.
• Práticas modernas de Data Quality e integração via APIs.

Responsibilities

• Projetar, desenvolver e manter pipelines de dados escaláveis usando Databricks e Delta Lake.
• Implementar arquiteturas camada Bronze/Silver/Gold com governança de dados.
• Desenvolver ingestão, transformação e disponibilização de dados via Databricks.
• Modelar dados de OT (PLC/SCADA) para Lakehouse com dados de TI.
• Modelar séries temporais de alta frequência e volumes grandes.
• Apoiar modelos analíticos para OEE, monitoramento de processos e manutenção preditiva.
• Implementar frameworks de Data Quality nas camadas de ingestão, transformação e consumo.
• Definir e monitorar métricas de qualidade, KPIs e dashboards.
• Trabalhar com Unity Catalog, metadados e segurança baseada em roles.
• Otimizar workloads (notebooks, jobs, SQL) e resolver problemas de qualidade/performance.
• Colaborar com times de dados e negócio para entrega de soluções confiáveis.

Skills

Databricks

Apache Spark

PySpark

SQL

Delta Lake

Unity Catalog

Workflows

Delta Live Tables

Data modeling

APIs integration

Data Quality

OT data

Time series

Tools

Databricks platform

Apache Spark

Delta Live Tables

Unity Catalog

Job description

A Radix está em busca de um(a) Arquiteto de Engenharia de Dados com forte experiência em Plataforma de Dados como Databricks, Snowflake, Palantir ou similares para atuar no desenho, implementação, otimização e sustentação de soluções modernas de dados baseadas na arquitetura Lakehouse. Essa pessoa será responsável por construir pipelines escaláveis, confiáveis e performáticos utilizando a plataforma Databricks, com foco em ingestão, transformação, qualidade, governança, modelagem e disponibilização de dados para consumo analítico, BI, integrações corporativas e iniciativas avançadas de dados. O(a) candidato(a) ideal possui experiência sólida em Databricks, Apache Spark, PySpark, SQL, Delta Lake, Unity Catalog, Workflows, Delta Live Tables, modelagem de dados, integração via APIs e práticas modernas de Data Quality, além de experiência com dados de OT (Tecnologia Operacional) e séries temporais provenientes de ambientes industriais, e capacidade para atuar próximo a times técnicos e áreas de negócio.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados escaláveis utilizando Databricks, Apache Spark, PySpark, SQL e Delta Lake.
• Implementar arquiteturas de dados baseadas em camadas Bronze, Silver e Gold, garantindo organização, rastreabilidade, qualidade e governança dos dados.
• Desenvolver processos de ingestão, transformação, validação e disponibilização de dados utilizando recursos nativos da plataforma Databricks, como notebooks, jobs, workflows, Delta Live Tables, Auto Loader e Databricks SQL.
• Projetar e implementar pipelines de ingestão, tratamento e modelagem de dados de OT (PLCs, SCADA, historians, MES, sensores e sistemas IIoT), integrando-os ao Lakehouse junto aos dados de TI (ERP, SAP, sistemas corporativos).
• Modelar, armazenar e otimizar dados de séries temporais em alta frequência e grande volume, incluindo estratégias de particionamento, agregação, downsampling, alinhamento temporal e contextualização de tags/datapoints com a hierarquia de ativos.
• Apoiar a construção de modelos analíticos voltados a casos de uso industriais, como OEE, monitoramento de processo, manutenção preditiva e rastreabilidade de produção.
• Projetar e implementar frameworks de Data Quality nas camadas de ingestão, transformação e consumo de dados.
• Desenvolver regras automatizadas de qualidade de dados, validações e processos de monitoramento para garantir precisão, completude, consistência, unicidade, atualidade e integridade dos dados.
• Implementar processos de profiling, limpeza, padronização, enriquecimento, reconciliação e tratamento de exceções de dados.
• Definir, implementar e monitorar métricas de qualidade de dados, KPIs, scorecards e dashboards.
• Desenvolver processos automatizados de validação para dados estruturados e semiestruturados, incluindo dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos.
• Projetar modelos de dados canônicos e modelos analíticos que consolidem informações provenientes de múltiplos sistemas de origem.
• Criar e manter mapeamentos de origem para destino, lógica de transformação, regras de negócio e processos de harmonização de dados.
• Projetar modelos dimensionais, incluindo esquemas estrela, para suportar cargas de trabalho analíticas, relatórios e soluções de BI.
• Implementar estratégias de carga incremental, CDC, reconciliação de dados e validação ponta a ponta.
• Atuar com Unity Catalog, governança, linhagem, metadados, catálogos, schemas, permissões e segurança baseada em papéis.
• Otimizar workloads em Databricks, incluindo notebooks, jobs, queries SQL, clusters, uso de recursos computacionais, particionamento, Z-Ordering, tuning de Spark e boas práticas de performance.
• Investigar, diagnosticar e resolver problemas de qualidade, performance, disponibilidade e integridade dos dados, identificando causas-raiz e implementando soluções preventivas.
• Apoiar decisões de arquitetura relacionadas ao uso de Databricks, Delta Lake, Lakehouse, governança, integração, automação e observabilidade.
• Colaborar com arquitetos de dados, engenheiros de dados, analistas, engenheiros de software e stakeholders de negócio para entregar soluções confiáveis, escaláveis e de alta qualidade.
• Dar suporte a práticas de engenharia moderna, incluindo versionamento com Git, CI/CD, automação de deploy, revisão de código e documentação técnica.