Engenheiro de Dados Azure PL (Consultor - Remoto)

Dataside; São José dos Campos; Teletrabalho; BRL 80.000 - 120.000; Tempo parcial

Resumo da oferta

Uma empresa inovadora busca um Engenheiro de Dados para trabalhar em um projeto remoto de 3 meses. O profissional será responsável por construir pipelines de dados e implementar modelos complexos, utilizando ferramentas como SQL, PySpark e Azure Data Factory. Valorizamos a diversidade e buscamos candidatos com experiência em ambientes de Big Data e computação em nuvem.

Qualificações

• Experiência em escrever consultas SQL complexas.
• Habilidade em construir pipelines de dados com Azure Data Factory.
• Capacidade de projetar e implementar modelos de dados complexos.

Responsabilidades

• Construir pipeline de dados nas camadas Bronze, Silver, Gold.
• Realizar análise de dados exploratória usando PySpark.
• Implementar testes de integridade de dados.

Conhecimentos

SQL

PySpark

Azure Data Factory

Databricks

Modelagem de dados

Descrição da oferta de emprego

Papel na empresa: Construir pipeline de dados entregando modelo de dados nas camadas Bronze, Silver, Gold para o time de negócios ter capacidade de analisar dados e tomar decisões.

Responsabilidades:
Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
Construir pipeline de Dados utilizando Azure Data Factory.
Construir nooteboks em Pyton e SQL utilizando Databricks.
Construir Modern Data Warehouse com Synpase Analytics.
Trabalhar com ingestões de dados em Datalakehouse.
Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
Usar junções de vários tipos, como junções internas, junções externas e junções naturais.
Usar subqueries de vários tipos, como subqueries de seleção, subqueries de atualização e subqueries de exclusão.
Usar funções agregadas de vários tipos, como funções de agregação de agregação.
Usar SQL com grandes conjuntos de dados.
Usar PySpark para realizar análise de dados exploratória (EDA) de forma eficiente e escalável.
Usar PySpark para gerar modelos de aprendizado de máquina.

Requisitos:
Identificar os principais requisitos de negócios para um modelo de dados complexo.
Projetar um modelo de dados complexo que atenda a esses requisitos.
Implementar um modelo de dados complexo em um banco de dados relacional ou não relacional.
Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.

Diferenciais:
Projetar soluções avançadas de aprendizado de máquina utilizando PySpark.
Experiência em projetos complexos de BI.
Conhecimento detalhado dos desafios e oportunidades de Big Data e computação em nuvem.
Experiência em projetos complexos de DB, DW, lake e lakehouse.
Experiência em projetos complexos de ETL.
Profundo entendimento dos conceitos de Azure Data Factory, Synapse, Databricks e Fabric.
Experiência em implementação de pipelines complexos em cenários desafiadores.
Expertise em conceitos avançados de DevOps.
Habilidade de gerenciar projetos de forma eficiente e propor soluções proativas para problemas.

Atuação remota - Contrato de 3 meses.
Contratação PJ - horista.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.