Engenheiro(a) de Dados Pleno – Big Data / Spark

Grupo Data

United States

Remote

USD 90,000 - 150,000

Full time

14 days+

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

A Grupo Data busca Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution. Você construirá pipelines escaláveis, assegurando qualidade dos dados e contribuindo para a evolução da arquitetura de Big Data.

O(a) profissional trabalhará com Spark, Spark SQL e Hive SQL, em ambiente ágil, com atuação remota 100% e possibilidade de mudança futura para Portugal ou Espanha.

Qualifications

  • Requisitos obrigatórios listados na vaga, como experiência em Engenharia de Dados e desenvolvimento de pipelines.
  • Conhecimento sólido em SQL, incluindo ANSI SQL, Hive SQL e Spark SQL.
  • Experiência com Apache Spark e plataformas Big Data (ex.: Azure Databricks, Amazon EMR, Hive, Cloudera).
  • Experiência com Qlik Sense para relatórios/dashboards.
  • Ambiente de CI/DevOps e metodologias ágeis.
  • Conhecimento em ferramentas como Git, GitHub, SonarQube, Nexus.

Responsibilities

  • Desenvolver, manter e otimizar soluções de processamento de dados.
  • Projetar ETL e processos de transformação de dados.
  • Implementar e manter pipelines com Apache Spark.
  • Apoiar integração de dados entre sistemas.
  • Analisar incidentes de dados e garantir qualidade e desempenho.
  • Trabalhar em equipes multidisciplinares em ambiente ágil.

Job description

Engenheiro(a) de Dados Pleno – Big Data / Spark

Sobre a oportunidade Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution. O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia.

Responsabilidades
  • Desenvolver, manter e otimizar soluções de processamento de dados;
  • Projetar e desenvolver processos de ETL e transformação de dados;
  • Implementar e manter pipelines utilizando Apache Spark;
  • Apoiar iniciativas de integração de dados entre diferentes sistemas;
  • Analisar e solucionar incidentes relacionados a dados;
  • Garantir a qualidade, performance e confiabilidade das soluções de dados;
  • Trabalhar em conjunto com equipes multidisciplinares em ambiente Agile.
Requisitos obrigatórios
  • Mínimo de 3 anos de experiência em Engenharia de Dados e desenvolvimento;
  • Conhecimento sólido em SQL, incluindo: ANSI SQL;
  • Hive SQL;
  • Spark SQL;
  • Experiência com Apache Spark;
  • Conhecimento em pelo menos uma das seguintes linguagens: Scala;
  • Python;
  • Java;
  • Experiência com plataformas Big Data, como: Azure Databricks;
  • Amazon EMR;
  • Hive;
  • Cloudera;
  • ou outro ambiente baseado em Spark;
  • Experiência com Qlik Sense para desenvolvimento de relatórios e dashboards;
  • Vivência em ambientes de Integração Contínua (CI), DevOps e metodologias ágeis;
  • Conhecimento em ferramentas como: Git;
  • GitHub;
  • SonarQube;
  • Nexus;
  • Capacidade de análise de requisitos e trabalho colaborativo;
  • Inglês nível B2 ou superior.
  • Espanhol nível B2 ou superior.
Diferenciais
  • Interesse ou experiência no uso de ferramentas de Inteligência Artificial aplicadas à Engenharia de Dados;
  • Conhecimento em automação de processos utilizando IA;
  • Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas.
Condições da posição
  • Atuação 100% remota;
  • É obrigatória a disponibilidade para mudança futura para Portugal ou Espanha, caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais;
  • Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto;
  • Os currículos deverão ser apresentados em inglês.
Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Engenheiro(a) de Dados Pleno — Spark & Big Data (Remoto)
Engenheiro(a) de Dados Pleno — Spark & Big Data (Remoto)

Grupo Data • United States

Remote
USD 90,000 - 150,000
Engenheiro de Dados Pleno - Spark - operacoes logistica
Engenheiro de Dados Pleno - Spark - operacoes logistica

confidential • United States

Remote
USD 24,000 - 40,000
Ambiente colaborativo
Trabalhe de qualquer lugar
Conexão global com times de diferentes
+3
Pessoa Engenheira de Dados Sênior - Big Data
Pessoa Engenheira de Dados Sênior - Big Data

Extractta • United States

Remote
USD 140,000 - 210,000
Vale Alimentação/Refeição
Convênio SES/Sesc com saúde, bem‑estar
Parceria com Instituições de Ensino
+3
Engenheiro de Dados Pleno - Spark - operacoes varejo
Engenheiro de Dados Pleno - Spark - operacoes varejo

confidential • United States

Remote
USD 20,000 - 35,000
Ambiente colaborativo
Trabalho remoto flexível
Conexão global
+3
Engenheiro de Dados Senior - Spark - integracoes logistica
Engenheiro de Dados Senior - Spark - integracoes logistica

confidential • United States

Remote
USD 32,000 - 57,000
Ambiente colaborativo
Trabalho remoto no Brasil
Conexão global
+2
Engenheiro de Dados Senior - Spark - integracoes varejo
Engenheiro de Dados Senior - Spark - integracoes varejo

confidential • United States

Remote
USD 31,000 - 52,000
Ambiente colaborativo
Trabalho remoto
Conexão global de times
+3
Engenheiro de Dados Pleno - Spark - operacoes pagamentos
Engenheiro de Dados Pleno - Spark - operacoes pagamentos

confidential • United States

Remote
USD 21,000 - 32,000
Ambiente colaborativo
Trabalhe de qualquer lugar
Conexão global
+3
Engenheiro(a) de Dados Pleno
Engenheiro(a) de Dados Pleno

Makasí • United States

Remote
USD 90,000 - 130,000
Engenheiro de Dados Senior - Spark - identidade logistica
Engenheiro de Dados Senior - Spark - identidade logistica

confidential • United States

Remote
USD 32,000 - 50,000
Ambiente colaborativo
Trabalho remoto
Conexão global
+3
Engenheiro de Dados Pleno - Spark - pedidos logistica
Engenheiro de Dados Pleno - Spark - pedidos logistica

confidential • United States

Remote
USD 24,000 - 40,000
Ambiente colaborativo
Trabalho remoto
Conexão global
+2