Big Data Engineer

Nimber; Lisboa; On-site; EUR 65,000 - 95,000; Full time

Job summary

A Nimber está à procura de um Big Data Engineer para integrar a equipa de dados e engenharia. O candidato ideal deve projetar, desenvolver e manter soluções de processamento de dados em ambientes Big Data com foco em performance e escalabilidade.

Esperamos experiência com Spark On-Premise, Python, Hadoop, Hive e SQL, bem como capacidade de trabalhar com APIs, Kafka e pipelines CI/CD. A função envolve colaboração com equipas internacionais e práticas de DevOps.

Qualifications

• Experiência sólida em desenvolvimento de software e dados.
• Conhecimento em Spark On-Premise, Python, Hadoop, Hive e SQL.
• Conhecimentos de APIs e Kafka e experiência com CI/CD e DevOps.
• Uso de Git, XL Release/XL Deploy e CTRL-M.
• Inglês mínimo B2 é obrigatório.

Responsibilities

• Desenvolver e manter soluções de processamento e transformação de dados em ambientes Big Data.
• Trabalhar com Spark On-Premise, Hadoop e Hive na implementação de soluções.
• Desenvolver componentes com Python e SQL e integrar sistemas via APIs e Kafka.
• Participar na implementação e manutenção de pipelines de CI/CD e práticas de DevOps.
• Trabalhar em ambientes Linux e gerenciar código com Git.
• Utilizar XL Release e XL Deploy nos processos de build e deployment.
• Gerir scheduling com CTRL-M e buscar melhorias de performance.

Skills

Inglês B2

Experiência em software

Tools

Spark On-Premise

Python

Hadoop

Hive

SQL

Linux

APIs

Kafka

CI/CD

Git

XL Release

XL Deploy

CTRL-M

Job description

Olá! Acredita que encontrou esta oportunidade por acaso?

Nós, na Nimber, não acreditamos em acaso.

Chamou sua atenção? Ótimo. Continue a ler...

Nós somos a Nimber, e não estamos apenas a preencher vagas; estamos a construir uma equipa pronta para transformar as coisas. Se está preparado para reescrever as regras e causar um impacto real, este é o seu momento. Junte-se a nós e vamos colocar o futuro onde ele pertence: nas mãos de pessoas apaixonadas.

Mas o que significa Nimber?

Na matemática e na teoria dos jogos, são números com propriedades especiais de adição e multiplicação. E o que realmente queremos é agregar valor aos projetos dos nossos clientes.

Posição: Big Data Engineer

Responsabilidades

• Desenvolver e manter soluções de processamento e transformação de dados em ambientes Big Data;
• Trabalhar com Spark On-Premise, Hadoop e Hive na implementação e evolução de soluções;
• Desenvolver soluções e componentes utilizando Python e SQL;
• Integrar sistemas e fluxos de dados através de APIs e Kafka;
• Participar na implementação e manutenção de pipelines de CI/CD;
• Trabalhar em ambientes Linux e contribuir para práticas de DevOps;
• Gerir código-fonte através de Git;
• Utilizar XL Release e XL Deploy nos processos de build, release e deployment;
• Gerir e acompanhar processos de scheduling através de CTRL-M;
• Identificar oportunidades de otimização e melhoria de performance das soluções;
• Colaborar com equipas internacionais e distribuídas, contribuindo para a evolução contínua das soluções.

Requisitos

• Experiência sólida em desenvolvimento de software;
• Experiência com Spark On-Premise, Python, Hadoop, Hive e SQL;
• Experiência em ambientes Linux;
• Conhecimentos de APIs e Kafka;
• Experiência com CI/CD e familiaridade com conceitos de DevOps;
• Experiência com Git;
• Conhecimentos de XL Release e XL Deploy;
• Experiência com CTRL-M;
• Experiência em otimização e melhoria de performance será valorizada;
• Inglês mínimo B2 (obrigatório).

Pronto para juntar-se a nós e ter sucesso?