Arquiteto de Dados

Dadoteca; Rio de Janeiro; Presencial; BRL 180 000 - 300 000; Tempo integral

Resumo da oferta

A Dadoteca busca um Arquiteto de Dados para desenhar arquiteturas end-to-end, da ingestão ao consumo, assegurando escalabilidade, governança e custos eficientes. O profissional definirá Data Lake/Lakehouse e arquitetura Medallion (Bronze/Silver/Gold) e estratégias de ingestão, transformação e armazenamento.

Será responsável por soluções com Azure, Fabric e Azure Databricks, padrões de modelagem dimensional e cargas Full/Incremental/CDCs, além de segurança, qualidade e linhagem de dados conforme

Qualificações

• Formação superior em Ciência da Computação, Engenharia ou áreas correlatas.
• Experiência sólida em Arquitetura de Dados, Data Lake/Lakehouse e Medallion.
• Modelagem dimensional: Star Schema, Snowflake, Fato, Dimensão, SCD.
• SQL, Python e/ou PySpark; Spark distribuído; Delta Lake/Parquet.
• ETL/ELT, pipelines Full/Incremental/CDC/Upsert; processamento distribuído.
• Azure, Fabric e Databricks; integrações SAP/HANA, bancos relacionais e NoSQL.
• LGPD, governança, segurança, qualidade e linhagem de dados.

Responsabilidades

• Projetar arquiteturas de dados end-to-end, da ingestão ao consumo, com foco em escalabilidade e custo.
• Definir Data Lake, Lakehouse e arquitetura Medallion (Bronze/Silver/Gold).
• Definir estratégias de ingestão, transformação, armazenamento e disponibilização de dados.
• Projetar soluções com Azure, Fabric e Databricks.
• Definir padrões de modelagem dimensional e técnicas de carga (Full/Incremental/CDCs).
• Avaliar desempenho, escalabilidade, disponibilidade e custo, incluindo Spark/PySpark.
• Definir padrões de segurança, governança, qualidade, metadados e linhagem (LGPD).
• Avaliar integrações com SAP/HANA, bancos relacionais, NoSQL, APIs e arquivos.
• Orientar Engenheiros de Dados e equipes de Cloud, DevOps, Segurança, Governança e BI.
• Produzir documentação, diagrams e decisões arquiteturais e avaliar alternativas tecnológicas.

Conhecimentos

Arquitetura de dados

Modelagem dimensional

Spark/PySpark

SQL

Azure

Data Lake / Lakehouse

Governança de dados

LGPD / Compliance

DevOps / CI/CD

Databricks

Fabric

Security de dados

Formação académica

Bacharel em Ciência da Computação / Engenharia / Sistemas de Informação

Ferramentas

Azure Data Factory

Azure Databricks

Microsoft Fabric

Delta Lake

Parquet

Terraform / IaC

Descrição da oferta de emprego

• Projetar arquiteturas de dados end-to-end, desde a ingestão até o consumo, considerando escalabilidade, segurança, governança, performance e custo.
• Definir soluções de Data Lake, Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).
• Definir estratégias de ingestão, transformação, integração, armazenamento e disponibilização de dados.
• Projetar soluções utilizando Microsoft Azure, Microsoft Fabric e Azure Databricks.
• Definir padrões de modelagem dimensional, incluindo Star Schema, Snowflake, Fato, Dimensão, granularidade e SCD.
• Definir estratégias de carga Full, Incremental, CDC, Upsert/MERGE, deduplicação e controle de histórico.
• Avaliar performance, escalabilidade, disponibilidade e custo, incluindo dimensionamento de clusters e processamento Spark/PySpark.
• Definir padrões de segurança, governança, qualidade, metadados e linhagem, considerando LGPD e compliance.
• Avaliar integrações com SAP/SAP HANA, bancos relacionais e NoSQL, APIs, arquivos e sistemas SaaS.
• Orientar Engenheiros de Dados e equipes de Cloud, DevOps, Segurança, Governança e BI na implementação das soluções.
• Produzir documentação, diagramas e decisões arquiteturais, avaliando alternativas tecnológicas e seus impactos técnicos e financeiros.

Atividades

• Projetar arquiteturas de dados end-to-end, desde a ingestão até o consumo, considerando escalabilidade, segurança, governança, performance e custo.
• Definir soluções de Data Lake, Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).
• Definir estratégias de ingestão, transformação, integração, armazenamento e disponibilização de dados.
• Projetar soluções utilizando Microsoft Azure, Microsoft Fabric e Azure Databricks.
• Definir padrões de modelagem dimensional, incluindo Star Schema, Snowflake, Fato, Dimensão, granularidade e SCD.
• Definir estratégias de carga Full, Incremental, CDC, Upsert/MERGE, deduplicação e controle de histórico.
• Avaliar performance, escalabilidade, disponibilidade e custo, incluindo dimensionamento de clusters e processamento Spark/PySpark.
• Definir padrões de segurança, governança, qualidade, metadados e linhagem, considerando LGPD e compliance.
• Avaliar integrações com SAP/SAP HANA, bancos relacionais e NoSQL, APIs, arquivos e sistemas SaaS.
• Orientar Engenheiros de Dados e equipes de Cloud, DevOps, Segurança, Governança e BI na implementação das soluções.
• Produzir documentação, diagramas e decisões arquiteturais, avaliando alternativas tecnológicas e seus impactos técnicos e financeiros.

Requisitos

• Formação superior em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas.
• Experiência sólida em Arquitetura de Dados, Data Lake/Lakehouse e arquitetura Medallion.
• Domínio de modelagem dimensional, incluindo Star Schema, Snowflake, Fato, Dimensão, granularidade e SCD.
• Conhecimento de SQL, Python e/ou PySpark, Apache Spark, Delta Lake e Parquet.
• Experiência com ETL/ELT, pipelines de dados e estratégias Full, Incremental, CDC, Upsert/MERGE e processamento distribuído.
• Experiência ou conhecimento sólido em Microsoft Azure, Microsoft Fabric e Azure Databricks.
• Conhecimento de Azure Data Lake Storage Gen2, OneLake, Fabric Lakehouse e Unity Catalog.
• Experiência ou conhecimento em integração com SAP/SAP HANA, bancos relacionais e NoSQL, APIs e arquivos.
• Conhecimento de segurança, governança, qualidade, linhagem de dados, LGPD e controle de acesso.
• Conhecimento de Azure Data Factory, Fabric Data Factory/Data Pipelines e Databricks Workflows.

Competências

• Capacidade de transformar requisitos de negócio em arquiteturas de dados escaláveis, seguras e sustentáveis.
• Habilidade para orientar equipes multidisciplinares e conduzir decisões técnicas em projetos complexos.
• Capacidade analítica para avaliar trade-offs entre performance, custo, segurança e escalabilidade.
• Proatividade na definição de padrões, automação e melhoria contínua das soluções de dados.
• Facilidade para documentar e comunicar conceitos técnicos para públicos técnicos e não técnicos.

Diferenciais

• Certificações Microsoft relacionadas a Azure/Fabric e certificações Databricks.
• Experiência com Azure DevOps, CI/CD e Terraform/IaC.
• Experiência com Data Mesh, streaming e arquiteturas orientadas a eventos.
• Conhecimento de Power BI, Semantic Models, FinOps e arquiteturas híbridas ou multi-cloud.
• Experiência com Machine Learning, MLOps, MLflow, Databricks ML e arquiteturas de dados para IA Generativa.
• Experiência em projetos corporativos de grande volume e ambientes críticos.