Data Engineer - Databricks

NoeXa - IT Solutions; Lisboa; Híbrido; EUR 45 000 - 65 000; Tempo integral

Resumo da oferta

Uma empresa de soluções em TI busca um profissional qualificado para trabalhar em Lisboa. O candidato ideal deve ter experiência na criação e otimização de pipelines de dados, bem como conhecimento avançado em SQL e PL-SQL. A formação em Engenharia ou Ciência da Computação é necessária. O trabalho será híbrido, exigindo proatividade e habilidades de comunicação para interagir com equipes múltiplas.

Qualificações

• Licenciatura em Engenharia, Ciência da Computação, ou disciplina relacionada é necessária.
• Boa capacidade de comunicação e colaboração em equipe multidisciplinar.
• Proatividade em identificar problemas e sugerir melhorias.

Responsabilidades

• Criar e otimizar pipelines de dados.
• Monitorar o ciclo produtivo das execuções de dados.
• Realizar análise de causa raiz em dados e processos.

Conhecimentos

Criação e otimização de pipelines de dados

Análise de causa raiz

Transformação de dados

Manipulação e processamento de dados

SQL e PL-SQL

Python

Experiência com Azure

Familiaridade com PowerBI

Formação académica

Licenciatura em Engenharia ou Ciência da Computação

Formação em Tecnologias de Informação

Descrição da oferta de emprego

Modelo - Híbrido: 1 ou 2 dias por semana. Local: Lisboa

Competências Técnicas:

• Experiência na criação e otimização de pipelines de dados, arquiteturas e conjuntos de dados;
• Experiência na realização de análise de causa raiz em dados e processos internos e externos para responder a questões específicas de negócio e identificar oportunidades de melhoria;
• Criar processos que suportem a transformação de dados, estruturas de dados, metadados, dependência e gerenciamento de carga de trabalho;
• Experiência em manipulação, processamento e extração de valor de conjuntos de dados desconectados;
• Conhecimento avançado de trabalho com SQL e PL-SQL e experiência para atuação em: Autoria de consultas (SQL) em bancos de dados relacionais para análise e exploração de dados em diferentes fontes e interfaces, como Oracle, MS SQL Server, MySQL, PostgreSQL, AWS Athena, Databricks;
• Experiência com linguagens de script orientadas a objetos/funções de objetos: Python, Java, C++, Scala, etc.;
• Acompanhar e monitorar ciclo produtivo das execuções dos pipelines de dados;
• Experiência com Azure (ADLS, Databricks) e/AWS cloud services (EC2, EMR, RDS, Redshift, Lambda, Azure Functions);
• Familiaridade com ferramentas de visualização de dados como PowerBI.

Requisitos académicos:

• Licenciatura em Engenharia, Ciência da Computação, ou outra disciplina relacionada;
• Formação na área das Tecnologias de Informação, ou similar;
• Uma mente analítica com capacidade de resolução de problemas;
• Boa capacidade de comunicação, colaboração com equipas multidisciplinares e influir com as suas ideias;
• Uma abordagem proativa para identificar problemas e eventuais ações de melhoria.