Engenheiro(a) de Big Data: Spark, Python & Pipelines

Nimber; Lisboa; Sur place; EUR 65 000 - 95 000; Plein temps

Résumé du poste

A Nimber está à procura de um Big Data Engineer para integrar a equipa de dados e engenharia. O candidato ideal deve projetar, desenvolver e manter soluções de processamento de dados em ambientes Big Data com foco em performance e escalabilidade.

Esperamos experiência com Spark On-Premise, Python, Hadoop, Hive e SQL, bem como capacidade de trabalhar com APIs, Kafka e pipelines CI/CD. A função envolve colaboração com equipas internacionais e práticas de DevOps.

Qualifications

• Experiência sólida em desenvolvimento de software e dados.
• Conhecimento em Spark On-Premise, Python, Hadoop, Hive e SQL.
• Conhecimentos de APIs e Kafka e experiência com CI/CD e DevOps.
• Uso de Git, XL Release/XL Deploy e CTRL-M.
• Inglês mínimo B2 é obrigatório.

Responsabilités

• Desenvolver e manter soluções de processamento e transformação de dados em ambientes Big Data.
• Trabalhar com Spark On-Premise, Hadoop e Hive na implementação de soluções.
• Desenvolver componentes com Python e SQL e integrar sistemas via APIs e Kafka.
• Participar na implementação e manutenção de pipelines de CI/CD e práticas de DevOps.
• Trabalhar em ambientes Linux e gerenciar código com Git.
• Utilizar XL Release e XL Deploy nos processos de build e deployment.
• Gerir scheduling com CTRL-M e buscar melhorias de performance.

Connaissances

Inglês B2

Experiência em software

Outils

Spark On-Premise

Python

Hadoop

Hive

SQL

Linux

APIs

Kafka

CI/CD

Git

XL Release

XL Deploy

CTRL-M

Description du poste

A Nimber está à procura de um Big Data Engineer para integrar a equipa de dados e engenharia. O candidato ideal deve projetar, desenvolver e manter soluções de processamento de dados em ambientes Big Data com foco em performance e escalabilidade.

Esperamos experiência com Spark On-Premise, Python, Hadoop, Hive e SQL, bem como capacidade de trabalhar com APIs, Kafka e pipelines CI/CD. A função envolve colaboração com equipas internacionais e práticas de DevOps.