Engenheiro de Dados Sr.

Indra Group; Brasil; Presencial; BRL 120 000 - 180 000; Tempo integral

Resumo da oferta

Indra Group busca um Engenheiro(a) de Dados para planejar, desenvolver, implantar e sustentar soluções de dados em ambientes Big Data/Data Lake. O profissional será responsável por construir pipelines de alto volume, assegurando qualidade, disponibilidade e confiabilidade das informações e contribuindo para melhorias na arquitetura de dados.

A atuação é presencial em Goiânia - GO, com foco em governança, segurança de dados e evolução contínua de soluções de dados, utilizando ferramentas modernas

Qualificações

• Conhecimento em Git/GitLab.
• Conhecimento avançado em Java/Groovy.
• Conhecimento avançado em Python.
• Experiência com desenvolvimento e sustentação de pipelines de dados.
• Conhecimento de conceitos e arquiteturas de Big Data/Data Lake.
• Conhecimento intermediário a avançado em Apache Spark, incluindo streaming e batch.
• Experiência com PySpark e/ou Scala.
• Conhecimento em tecnologias do ecossistema Big Data (NiFi;Kafka;Airflow;HDFS;Hive;HBase;Iceberg;Kudu;Impala;Trino;Redis).
• Conhecimento intermediário a avançado em SQL e bancos de dados Oracle/MySQL.

Responsabilidades

• Planejar, desenvolver, programar e implantar pipelines de dados de alto volume para ambientes Big Data/Data Lake.
• Monitorar pipelines, identificar falhas e atuar na análise e resolução de problemas.
• Planejar e executar processos de saneamento, tratamento e qualidade de dados.
• Desenvolver, construir, testar e manter arquiteturas de bancos de dados e sistemas de processamento de dados.
• Trabalhar com processamento de dados distribuído, batch e/ou em tempo real.
• Criar e implementar métodos para aumentar a eficiência, qualidade, disponibilidade e confiabilidade dos dados.
• Identificar oportunidades de melhoria e otimizações nos processos de dados e na arquitetura.

Conhecimentos

Git/GitLab

Java/Groovy

Python

Big Data/Data Lake

Pipelines de dados

Ferramentas

NiFi

Kafka

Airflow

HDFS

Hive

HBase

Iceberg

Kudu

Impala

Trino

Redis

Descrição da oferta de emprego

Buscamos um(a) Engenheiro(a) de Dados para atuar no planejamento, desenvolvimento, implantação e sustentação de soluções de dados em ambiente Big Data/Data Lake.

Essa pessoa será responsável pela construção e evolução de pipelines de alto volume de dados, garantindo qualidade, disponibilidade, segurança e confiabilidade das informações, além de participar ativamente da identificação de melhorias e otimizações na arquitetura e nos processos de dados.

Principais responsabilidades:

• Planejar, desenvolver, programar e implantar pipelines de dados de alto volume para ambientes Big Data/Data Lake;
• Monitorar pipelines, identificar falhas e atuar na análise e resolução de problemas;
• Planejar e executar processos de saneamento, tratamento e qualidade de dados;
• Desenvolver, construir, testar e manter arquiteturas de bancos de dados e sistemas de processamento de dados;
• Trabalhar com processamento de dados distribuído, batch e/ou em tempo real;
• Criar e implementar métodos e técnicas que aumentem a eficiência, qualidade, disponibilidade e confiabilidade dos dados;
• Identificar oportunidades e propor melhorias, ajustes e otimizações nos processos, utilizando novas metodologias e ferramentas;
• Elaborar e manter documentação técnica, incluindo descrição, conceituação das informações e gestão de metadados;
• Apoiar atividades relacionadas à administração, governança e segurança de dados;
• Participar do planejamento e execução de projetos relacionados à plataforma e engenharia de dados.
  

Requisitos técnicos:

• Conhecimento em Git/GitLab;
• Conhecimento avançado em Java/Groovy;
• Conhecimento avançado em Python;
• Experiência com desenvolvimento e sustentação de pipelines de dados;
• Conhecimento de conceitos e arquiteturas de Big Data e Data Lake.

Conhecimentos desejáveis:

• Conhecimento intermediário a avançado em Apache Spark, incluindo processamento streaming e batch;
• Experiência com PySpark e/ou Scala;
• Conhecimento em tecnologias e ferramentas do ecossistema Big Data, como: NiFi;Kafka; Airflow; HDFS; Hive; HBase; Iceberg; Kudu; Impala; Trino; Redis;
• Conhecimento intermediário a avançado em SQL;
• Conhecimento intermediário a avançado em bancos de dados Oracle e/ou MySQL.
  Modelo de atuação: Presencial em Goiânia - GO