Engenheiro De Dados

Brivia | The Creative Smartech; Porto; On-site; BRL 180,000 - 240,000; Full time

Job summary

Brivia | The Creative Smartech procura engenheiro de dados para criar e manter pipelines de dados que respondam a perguntas de negócio. O papel envolve alimentar dashboards em Power BI e colaborar com equipes de ML e BI.

O candidato ideal tem experiência com ETL/ELT em ambientes de nuvem (Azure, AWS ou GCP), modelagem dimensional e construção de Data Lakes, além de foco em governança de dados e performance de consultas.

Qualifications

• Vivência prática em projetos de engenharia de dados de médio e grande porte.
• Experiência no desenvolvimento de pipelines em ambientes de nuvem (Azure, AWS ou GCP).
• Tratamento de dados estruturados e não estruturados.
• Experiência em modelagem dimensional e Data Warehousing.
• Desejável experiência com dashboards em Power BI.

Responsibilities

• Criar e manter pipelines de dados para perguntas de negócio e alimentar dashboards em Power BI.
• Desenvolver e orquestrar ETL/ELT com ferramentas de nuvem (Airflow, Data Factory, Glue, Composer).
• Processar dados com Spark em plataformas como Databricks, Synapse, EMR ou DataProc.
• Gerenciar bancos de dados relacionais e não relacionais e estruturar Data Lakes.
• Colaborar com times de ML e BI para governança e arquitetura de dados.

Skills

Modelagem de dados dimensional

Performance de queries

Data Lakes

Comunicação multidisciplinar

Education

Graduação completa em TI ou áreas correlatas

Tools

Apache Airflow

Azure Data Factory

AWS Glue

Google Cloud Composer

Spark/Databricks

Job description

Segmento: Não Informado

Atividades:

• Responsabilidades: Criar e manter pipelines de dados para atender perguntas de negócio, alimentar dashboards em Power BI e modelos de Machine Learning.
• Desenvolver e orquestrar processos ETL/ELT a partir de diferentes fontes de dados utilizando ferramentas como Apache Airflow, Azure Data Factory, AWS Glue ou Google Cloud Composer.
• Criar e processar dados com Spark, em plataformas como Azure Databricks, Azure Synapse Analytics, AWS Glue, AWS EMR ou Google Cloud Dataproc.
• Manipular e administrar bases de dados relacionais e não relacionais, incluindo arquivos estruturados e não estruturados.
• Realizar modelagem dimensional de dados.
• Auxiliar na definição de boas práticas de código, governança e gestão de dados.
• Apoiar na definição de arquiteturas de dados.
• Executar tuning de consultas, queries e bases de dados para otimização de performance.
• Criar pipelines de dados em tempo real com ferramentas como Apache Kafka, Azure Event Hub, AWS Kinesis ou Google Cloud Pub/Sub.
• Construir e manter modelos de dados em Modern Data Warehouses (Snowflake, Google Big Query, Azure Synapse Analytics ou AWS Redshift).
• Estruturar, organizar e manter Data Lakes.
• Desenvolver soluções de ingestão de dados via APIs REST com tecnologias serverless como Azure Functions, AWS Lambda ou Google Cloud Functions.
• Colaborar ativamente com os times de desenvolvimento de Machine Learning e dashboards.

Requisitos e qualificações

• Vivência prática em projetos de engenharia de dados de médio e grande porte.
• Experiência no desenvolvimento de pipelines em ambientes de nuvem (Azure, AWS ou GCP).
• Atuação prévia em tratamento de dados estruturados e não estruturados.
• Experiência em modelagem dimensional e Data Warehousing.
• Desejável experiência com dashboards em Power BI.
• Experiência em contextos que exigem colaboração multidisciplinar (engenharia de dados, ciência de dados e BI).
• Formação acadêmica: graduação completa (áreas de TI, Engenharia, Ciência da Computação, Sistemas de Informação ou correlatas).

Ferramentas e Tecnologias

• ETL/ELT e orquestração: Apache Airflow, Azure Data Factory, AWS Glue, Google Cloud Composer.
• Processamento de dados: Spark, Databricks, Synapse Analytics, EMR, DataProc.
• Bancos de dados: relacionais (SQL) e não relacionais (NoSQL).
• Streaming: Kafka, Event Hub, Kinesis, Pub/Sub.
• Modern Data Warehouses: Snowflake, BigQuery, Synapse, Redshift.
• Serverless/Integrações: Azure Functions, AWS Lambda, Google Cloud Functions.

Habilidades

• Modelagem de dados dimensional.
• Melhoria de performance de queries e bases de dados.
• Organização e manutenção de Data Lakes.
• Comunicação eficaz com equipes multidisciplinares.

Idiomas

• Inglês e espanhol (desejável).

Dias da Semana: Não Informado

Horário / Período: Não Informado