Remote Data Platform Engineer — Spark, SQL & ETL

FOX IT; Aveiro; Presencial; EUR 42 000 - 64 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

26 days vacation

Health insurance

Birthday bonus 50€

Training

Career development

Resumo da oferta

A FOX IT procura um Engenheiro de Plataforma de Dados de nível intermédio para se juntar a um projeto inovador e internacional, apoiando uma grande plataforma de dados de um fornecedor de energia.

Responsabilidades incluem desenvolver e manter pipelines, trabalhar com Spark, SQL, dbt, Kafka, Ignite, NiFi e AirFlow, colaborar com arquitetos, garantir qualidade, segurança e disponibilidade, e apoiar governança de dados.

Qualificações

• Experiência com pipelines de dados em produção.
• Conhecimento sólido de SQL e processamento distribuído (Apache Spark).
• Proficiência em dbt, Kafka, Ignite, NiFi e AirFlow.
• Proficiência em Python ou Scala para tarefas de engenharia de dados.
• Experiência com serviços em nuvem (AWS).
• Familiaridade com Grafana e governança de dados em ambiente Cloud.
• Experiência em CI/CD e testes de fluxos de dados.
• Fluência em Português e Inglês.

Responsabilidades

• Apoiar pipelines de dados e processos ETL/ELT para fluxos de dados confiáveis e escaláveis.
• Colaborar com arquitetos de plataforma para garantir dados eficientes, seguros e disponíveis.
• Operar, monitorar e melhorar processos de dados.
• Apoiar quadros de governança de dados e monitoramento de pipelines.
• Trabalhar com stakeholders para resolver problemas na plataforma de dados.
• Automatizar tarefas repetitivas e melhorar ingestão, transformação e entrega de dados.
• Depurar e otimizar consultas SQL.
• Documentar mudanças e melhores práticas.
• Revisar e aprovar lançamentos de produtos de dados para produção.

Conhecimentos

SQL

Apache Spark

dbt

Apache Kafka

Apache NiFi

Apache Airflow

Python

Scala

AWS

Grafana

CI/CD

Data governance

Ferramentas

Terraform

Power BI

Collibra

Alation

Dremio

Descrição da oferta de emprego

A FOX IT procura um Engenheiro de Plataforma de Dados de nível intermédio para se juntar a um projeto inovador e internacional, apoiando uma grande plataforma de dados de um fornecedor de energia.

Responsabilidades incluem desenvolver e manter pipelines, trabalhar com Spark, SQL, dbt, Kafka, Ignite, NiFi e AirFlow, colaborar com arquitetos, garantir qualidade, segurança e disponibilidade, e apoiar governança de dados.