Engenheiro de Dados Pleno

Grupo FCamara; Brasil; Teletrabalho; BRL 120 000 - 190 000; Tempo integral

Resumo da oferta

Grupo FCamara procura Engenheiro de Dados Pleno para atuar no desenvolvimento, implementação e otimização de pipelines de dados. Será responsável pela orquestração com Airflow, criação e gerenciamento de funções em cloud, e configuração de dashboards em Grafana para monitoramento.

Colaborará com equipes de ciência de dados, analistas e desenvolvedores para entender requisitos, assegurar qualidade de dados e suportar decisões de negócio com soluções escaláveis.

Responsabilidades

• Projetar, implementar e otimizar pipelines de ETL para fluidez entre sistemas.
• Usar Apache Airflow para orquestrar e agendar tarefas de processamento de dados.
• Criar e gerenciar funções em cloud (AWS Lambda, Google Cloud Functions).
• Integrar serviços de dados na nuvem para escalabilidade e eficiência.
• Configurar e manter dashboards em Grafana para monitorar o desempenho.
• Implementar alertas e métricas para garantir integridade dos dados.
• Documentar processos e rotinas de dados para facilitar a manutenção.
• Participar de ECPs para melhorias nos fluxos de dados e arquitetura.
• Trabalhar com ciência de dados, analistas e desenvolvedores para atender necessidades de negócio.
• Participar de reuniões de planejamento e revisão.

Descrição da oferta de emprego

A FCamara está em busca de um Engenheiro de Dados Pleno para atuar no desenvolvimento, implementação e otimização de pipelines de dados, utilizando ferramentas como Apache Airflow para orquestração de tarefas. O profissional também será responsável pela criação e gerenciamento de funções em ambientes de cloud, como AWS Lambda ou Google Cloud Functions, e pela configuração e manutenção de dashboards em Grafana para monitoramento de desempenho.

Responsabilidades

• Projetar, implementar e otimizar pipelines de ETL (Extração, Transformação e Carga) para garantir a fluidez dos dados entre sistemas.
• Utilizar ferramentas como Apache Airflow para orquestrar e agendar tarefas de processamento de dados.
• Criar e gerenciar funções em ambientes de cloud (ex.: AWS Lambda, Google Cloud Functions) para automação de processos e manipulação de dados.
• Integrar serviços de dados na nuvem para melhorar a escalabilidade e a eficiência.
• Configurar e manter dashboards em Grafana para monitorar o desempenho de pipelines de dados e identificar possíveis gargalos.
• Implementar alertas e métricas para garantir a integridade e a disponibilidade dos dados.
• Documentar processos e rotinas de dados para garantir a transparência e facilitar a manutenção.
• Participar de Engineering Change Proposals (ECP) para propor melhorias e inovações nos fluxos de trabalho e na arquitetura de dados.
• Trabalhar em estreita colaboração com equipes de ciência de dados, analistas e desenvolvedores para entender requisitos e garantir que as soluções atendam às necessidades do negócio.
• Participar de reuniões de planejamento e revisão para alinhar objetivos e prioridades.
• Implementar e monitorar processos de validação de dados para garantir a qualidade e a precisão das informações.
• Realizar testes e auditorias nos pipelines de dados para identificar e corrigir problemas.