Engenheiro de Dados Azure Sênior (Remoto)

Dataside; São José dos Campos; Teletrabalho; BRL 80.000 - 150.000; Tempo integral

Resumo da oferta

Uma empresa inovadora está em busca de um Engenheiro de Dados para construir pipelines de dados e um Modern Data Warehouse. Nesta função, você escreverá consultas SQL complexas e desenvolverá notebooks em Python e SQL utilizando Databricks. Você terá a oportunidade de trabalhar com tecnologias de ponta como Azure Data Factory e Synapse Analytics, além de liderar projetos de Data Governance. Se você é apaixonado por Big Data e deseja fazer parte de um ambiente dinâmico e diversificado, esta é a oportunidade ideal para você.

Serviços

Auxílio médico

Wellhub

Auxílio terapia

Teleatendimento em Nutrição

Seguro de vida

Dia de folga no aniversário

Parcerias com instituições de ensino

Gamificação

English Club

Reembolso por certificação

Qualificações

• Inglês nível B2-C1 para conversação.
• Experiência em arquitetura de Big Data end-to-end.

Responsabilidades

• Escrever consultas SQL complexas e construir pipelines de dados.
• Desenvolver notebooks em Python e SQL usando Databricks.

Conhecimentos

SQL

Python

Data Governance

PySpark

Azure Data Factory

Data Modeling

Big Data Architecture

DevOps

Data Analysis

Formação académica

Bachelor's Degree in Computer Science or related field

Ferramentas

Azure Synapse Analytics

Databricks

Unity Catalog

Purview

Descrição da oferta de emprego

Papel na empresa:
Construir pipeline de dados entregando modelos de dados nas camadas Bronze, Silver e Gold para que o time de negócios possa analisar dados e tomar decisões.

Responsabilidades:

1. Escrever consultas SQL complexas para tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
2. Construir pipelines de dados utilizando Azure Data Factory.
3. Desenvolver notebooks em Python e SQL usando Databricks.
4. Construir um Modern Data Warehouse com Synapse Analytics (Serverless & Dedicated).
5. Desenvolver Data Governance usando Unity Catalog ou Purview.
6. Trabalhar com ingestões de dados em Datalakehouse.
7. Definir e explicar conceitos de Azure Data Factory, Synapse, Databricks e Fabric de forma crítica.
8. Manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
9. Utilizar diferentes tipos de junções, subqueries e funções agregadas em SQL.
10. Realizar análise exploratória de dados (EDA) e gerar modelos de aprendizado de máquina com PySpark.
11. Otimizar desempenho de aplicações de processamento de dados usando PySpark.
12. Definir e explicar conceitos de DevOps de forma abrangente e crítica.
13. Utilizar ferramentas de CI/CD, gerenciar infraestrutura como código, comunicar conceitos e liderar projetos de DevOps.

Requisitos:

1. Inglês para conversação nível B2-C1 (Pós-intermediário e Avançado).
2. Identificar requisitos de negócios para modelos de dados complexos.
3. Conhecimento avançado em arquitetura de Big Data end-to-end.
4. Capacidade de projetar, implementar e testar modelos de dados em bancos relacionais ou não relacionais.
5. Utilizar ferramentas de modelagem de dados e documentar modelos para comunicação eficaz.
6. Experiência em liderar engenheiros de dados JR e PL.

Diferenciais:

1. Projetos internacionais de Big Data.
2. Liderar projetos de BI complexos.
3. Compreensão aprofundada de Big Data, computação em nuvem e soluções distribuídas.
4. Experiência em projetos de DB, DW, lake e lakehouse, incluindo segurança.
5. Habilidade em resolver problemas de dados complexos de forma independente.
6. Capacidade de adaptação rápida a mudanças em ambientes dinâmicos.

Nossos Incentivos:

• Auxílio médico, Wellhub, auxílio terapia, teleatendimento em Nutrição, seguro de vida, dia de folga no aniversário, parcerias com instituições de ensino, gamificação, English Club, reembolso + bônus por certificação e outros.

Atuação remota.
Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.