Analista de BI Pleno | TRACK&FIELD | São Paulo

TRACK&FIELD; São Paulo; Presencial; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa inovadora está em busca de um profissional talentoso para integrar sua equipe de dados. O candidato ideal terá a missão de projetar, desenvolver e manter pipelines de dados escaláveis na plataforma Azure, colaborando com equipes de BI e Analytics para garantir que os dados sejam confiáveis e bem estruturados. Esta posição oferece a oportunidade de trabalhar com tecnologias de ponta, como Azure Data Factory e Azure Databricks, otimizando a governança e a performance em toda a infraestrutura de dados. Se você é apaixonado por dados e busca um ambiente dinâmico e colaborativo, esta pode ser a oportunidade perfeita para você.

Qualificações

• Experiência em plataformas Azure e ferramentas de BI.
• Conhecimento em linguagens de programação como SQL e Python.

Responsabilidades

• Desenvolver e manter pipelines de dados robustos na plataforma Azure.
• Garantir a qualidade e governança dos dados ao longo do pipeline.

Conhecimentos

Azure Data Factory

Azure Synapse Analytics

Azure Databricks

SQL

Python

Power BI

ETL/ELT

Governança de Dados

Azure Monitor

Automação de Tarefas

Formação académica

Graduação em áreas correlatas

Ferramentas

Azure Data Lake Storage

Azure Blob Storage

Azure Stream Analytics

Descrição da oferta de emprego

Job description

Missão da Área

Capacitar a organização a tomar decisões informadas por meio da transformação de dados brutos em informações significativas, utilizando técnicas avançadas de BI e análise de dados, em colaboração com a engenharia de dados. Garantir que os dados sejam de alta qualidade, acessíveis e preparados adequadamente para análises e relatórios, fornecendo insights que impulsionem a eficiência, inovação e competitividade.

Sua missão

Projetar, desenvolver e manter pipelines de dados robustos e escaláveis na plataforma Azure, garantindo a integração eficiente de dados provenientes de diversas fontes. Trabalhar de forma colaborativa com as equipes de BI e Analytics para fornecer dados confiáveis e bem estruturados, com foco em soluções que atendam às necessidades de análise e visualização de dados, otimizando a governança e a performance em toda a infraestrutura de dados.

Main responsibilities

Quais serão suas responsabilidades?

1. Desenvolvimento e Manutenção de Pipelines de Dados:
2. Projetar, implementar e gerenciar pipelines de dados no Azure Data Factory e outras ferramentas da plataforma Azure.
3. Criar processos de ETL (Extração, Transformação e Carga) eficientes e escaláveis, garantindo o fluxo contínuo de dados entre sistemas internos e externos.
4. Gerenciar integrações de dados em tempo real e batch, utilizando ferramentas como Azure Stream Analytics e Azure Event Hubs.
5. Armazenamento e Processamento de Dados:
6. Organizar dados estruturados e semiestruturados de forma eficiente, utilizando Azure Data Lake Storage, Azure Blob Storage e Azure SQL Database.
7. Trabalhar com soluções de processamento de dados como Azure Synapse Analytics e Azure Databricks para otimizar a performance das consultas e o uso de grandes volumes de dados.
8. Implementar soluções de arquivamento e backup adequadas para garantir a integridade e segurança dos dados.
9. Qualidade e Governança de Dados:
10. Garantir que os dados sejam consistentes, precisos e de alta qualidade ao longo de todo o pipeline, realizando validações e transformações adequadas.
11. Colaborar com as equipes de governança de dados e BI para aplicar padrões de qualidade, segurança e conformidade em todos os processos.
12. Monitorar o cumprimento das políticas de governança e garantir que os dados sejam acessados de maneira segura e controlada.
13. Otimização de Performance e Custos:
14. Realizar monitoramento contínuo do desempenho das soluções implementadas, otimizando o uso de recursos para melhorar a performance e reduzir custos operacionais.
15. Trabalhar na automação de tarefas repetitivas, como processos de batch processing e escalabilidade dinâmica.
16. Colaboração com Equipes de BI e Analytics:
17. Trabalhar em estreita colaboração com equipes de Business Intelligence e Analytics para entender os requisitos de dados e garantir que a infraestrutura de dados atenda às necessidades de análise.
18. Fornecer suporte na definição de requisitos de dados para dashboards, relatórios e outras soluções de análise no Power BI ou outras ferramentas de visualização.
19. Documentação e Melhoria Contínua:
20. Criar e manter documentação técnica clara sobre a arquitetura de dados, pipelines, transformações e outras soluções implementadas.
21. Participar de revisões de código e processos de melhorias contínuas, buscando inovação e eficiência nas soluções de dados.
22. Monitoramento e Troubleshooting:
23. Monitorar o estado dos pipelines e resolver problemas técnicos relacionados ao fluxo de dados, identificando e corrigindo falhas rapidamente.
24. Utilizar ferramentas de monitoramento como Azure Monitor para analisar logs, alertas e métricas de desempenho.

Requirements and skills

Experiência em:

• Plataformas e Serviços Azure:
• Azure Data Factory (ADF): Para orquestrar e automatizar pipelines de dados (ETL/ELT). Conhecimento sobre como criar, agendar e monitorar workflows de dados.
• Azure Synapse Analytics: Para integração de dados, análise e processamento em grande escala. Compreensão de como usar Synapse para Big Data e análise de dados em larga escala.
• Azure Databricks: Experiência com Apache Spark no Azure para análise de dados em tempo real e em batch, integração com Python, Scala ou SQL.
• Azure Data Lake Storage (ADLS) e Azure Blob Storage: Para armazenar grandes volumes de dados não estruturados e estruturados de forma escalável e segura.

• Linguagens de Programação e Scripts:
• SQL: Proficiência em SQL para consulta, manipulação e transformação de dados em bancos de dados relacionais (como Azure SQL Database, Synapse Analytics, etc.).
• Python: Para automação, transformação de dados, criação de scripts e integração com ferramentas de dados. Usado frequentemente para processamento de dados no Azure Databricks.
• Spark SQL: Usado no Azure Databricks para consultas SQL no contexto de Big Data.

• Ferramentas de BI e Análise de Dados:
• Power BI: Conhecimento sobre integração de dados, criação de relatórios e dashboards para visualização de dados analíticos.
• Azure Analysis Services (opcional): Para criar modelos de dados analíticos em larga escala e otimizados para consumo de BI.

• Engenharia de Dados e Arquitetura:
• ETL/ELT: Experiência na criação de processos de ETL (extração, transformação e carga) ou ELT (extração, carga e transformação) para integração de dados.
• Modelagem de Dados: Compreensão de como modelar dados para análise, incluindo conceitos como esquemas estrela, floco de neve e tabelas de fatos e dimensões.
• Armazenamento de Dados: Conhecimento sobre diferentes tipos de armazenamento de dados (relacional e não relacional), bem como os princípios de data lakes, data warehouses e data marts.

• Processamento e Transformação de Dados:
• Data Lakes e Data Warehousing: Entendimento intermediário das arquiteturas de Data Lake e Data Warehouse, e como essas soluções são usadas para armazenar e analisar grandes volumes de dados.

• Governança e Qualidade de Dados:
• Governança de Dados: Conhecimento sobre práticas de governança de dados, como catalogação, auditoria, segurança e conformidade (GDPR, LGPD).
• Qualidade de Dados: Conhecimento sobre técnicas para garantir que os dados sejam limpos, consistentes, completos e precisos. Uso de ferramentas de validação e monitoramento de dados.

• Monitoramento e Otimização:
• Azure Monitor e Log Analytics: Habilidade para configurar e usar ferramentas de monitoramento para identificar problemas e otimizar a performance dos pipelines e das soluções de dados.
• Otimização de Performance: Conhecimento em boas práticas de desempenho para consultas em grande escala, como indexação, particionamento de dados e ajuste de consultas no Azure Synapse e Azure SQL Database.

• Conceitos de Arquitetura de Nuvem e Escalabilidade:
• Arquitetura de Nuvem: Entendimento dos princípios de arquitetura em nuvem e como planejar soluções escaláveis no Azure, incluindo escalabilidade horizontal e vertical.
• Escalabilidade de Dados: Capacidade de planejar e implementar soluções que podem crescer conforme a demanda de dados aumenta, aproveitando as capacidades de elasticidade do Azure.

• Segurança e Controle de Acesso:
• Azure Security: Conhecimento sobre as práticas de segurança no Azure, incluindo autenticação, autorização, e controle de acesso com Azure Active Directory e Role-Based Access Control (RBAC).
• Criptografia e Proteção de Dados: Entendimento das opções de criptografia no Azure e práticas para proteger dados em repouso e em trânsito.

• Ferramentas de Automação e CI/CD:
• Azure DevOps ou Git: Experiência com pipelines de CI/CD para automação de deploys e versionamento de código de dados.
• Automatização de Tarefas: Habilidade para automatizar tarefas de integração e processamento de dados, reduzindo a intervenção manual e aumentando a eficiência.

O que você precisa ter:

Graduação Concluída em áreas correlatas.

Additional information

Local

São Paulo - Itaim Bibi

#PapoReto ️

Nossa seleção já está rolando! E aí, vem com a gente?

Inscrição e análise das candidaturas

Bate-papo com a pessoa recrutadora

Entrevistas

Feedbacks e/ou proposta, retorno sobre o processo.

# Conheça mais de nossos processos seletivos acompanhando nossa pagina de carreira: https://tfcarreira.gupy.io/