Engenheiro de Dados - Pleno Remote Work Full-time employee

FCamara; Portugal; Teletrabalho; EUR 45 000 - 60 000; Tempo integral

Resumo da oferta

A FCamara procura Engenheiro de Dados pleno para atuar no desenvolvimento de pipelines, ETL e automação em ambientes de nuvem. O candidato trabalhará com equipes multidisciplinares para garantir integração eficaz de dados e escalabilidade.

Requisitos incluem SQL, Python/Java e experiência com Airflow, Grafana e serviços de nuvem como AWS, Google Cloud ou Azure. Vaga presencial/onsite em Portugal.

Qualificações

• Proficiência em SQL e em linguagens de programação como Python ou Java.
• Experiência com ferramentas de ETL e integração de dados.
• Sólido entendimento de arquiteturas de dados em nuvem (AWS, Google Cloud, Azure).
• Conhecimento aprofundado em Apache Airflow para gerência de workflows.
• Habilidade em configurar monitoramento com Grafana.
• Conhecimento em serviços de cloud (S3, BigQuery, Redshift) e melhores práticas de cloud.

Responsabilidades

• Desenvolvimento de pipelines de dados desde a ingestão até a transformação e carga de dados.
• Projetar, implementar e otimizar pipelines de ETL.
• Utilizar Airflow para orquestração de pipelines e agendamento de tasks.
• Criar e gerenciar funções em ambientes de cloud (ex.: AWS Lambda, Google Cloud Functions).
• Integrar serviços de dados na nuvem para escalabilidade e eficiência.
• Configurar dashboards e monitoramento com Grafana para desempenho de pipelines.
• Garantir qualidade de dados com validações, testes e auditorias.

Conhecimentos

SQL

Python

Java

Data modeling

Analytical thinking

Ferramentas

Apache Airflow

Grafana

Cloud platforms

AWS

Google Cloud

Azure

BigQuery

Redshift

S3

Descrição da oferta de emprego

Job description

A FCamara está em busca de uma pessoa para atuar como Engenheiro de Dados - Pleno.

Main responsibilities

Desenvolvimento de Pipelines de Dados:

Projetar, implementar e otimizar pipelines de ETL (Extração, Transformação e Carga) para garantir a fluidez dos dados entre sistemas.

Utilizar ferramentas como Apache Airflow para orquestrar e agendar tarefas de processamento de dados.

Implementação de Cloud Functions:

Criar e gerenciar funções em ambientes de cloud (ex.: AWS Lambda, Google Cloud Functions) para automação de processos e manipulação de dados.

Integrar serviços de dados na nuvem para melhorar a escalabilidade e a eficiência.

Monitoramento e Observabilidade:

Configurar e manter dashboards em Grafana para monitorar o desempenho de pipelines de dados e identificar possíveis gargalos.

Implementar alertas e métricas para garantir a integridade e a disponibilidade dos dados.

Documentação e Melhoria Contínua:

Documentar processos e rotinas de dados para garantir a transparência e facilitar a manutenção.

Participar de Engineering Change Proposals (ECP) para propor melhorias e inovações nos fluxos de trabalho e na arquitetura de dados.

Colaboração Interdisciplinar:

Trabalhar em estreita colaboração com equipes de ciência de dados, analistas e desenvolvedores para entender requisitos e garantir que as soluções atendam às necessidades do negócio.

Participar de reuniões de planejamento e revisão para alinhar objetivos e prioridades.

Qualidade de Dados:

Implementar e monitorar processos de validação de dados para garantir a qualidade e a precisão das informações.

Realizar testes e auditorias nos pipelines de dados para identificar e corrigir problemas.

Requirements and skills

Requisitos e qualificações

Técnicos:

Proficiência em SQL e em linguagens de programação como Python ou Java.

Experiência com ferramentas de ETL e integração de dados.

Sólido entendimento de arquiteturas de dados em nuvem (ex.: AWS, Google Cloud, Azure).

Ferramentas de Orquestração:

Conhecimento profundo em Apache Airflow para gerenciamento de workflows.

Habilidade em configurar e utilizar ferramentas de monitoramento como Grafana.

Cloud Computing:

Familiaridade com serviços de cloud (ex.: S3, BigQuery, Redshift) e suas melhores práticas.

Conhecimento em gerenciamento de custos e otimização de recursos em ambientes de nuvem.