Engenheiro(a) de Dados | DataSecOps

MeuHome; São Paulo; On-site; BRL 180,000 - 360,000; Full time

Job summary

A Jump busca um profissional sênior em tecnologia de dados para liderar diagnósticos práticos e impulsionar melhorias de curto prazo em pipelines de Big Data (TXT / Medalhão).

O candidato consolidará a transferência técnica com a equipe responsável pelo legado, aplicando tuning de Spark/PySpark, Databricks, integração com GCP e Hadoop/Hive conforme necessário, atuando em um ambiente ágil e orientado a resultados.

Qualifications

• Aprimoramento em Spark/PySpark: Spark UI, resolução de Spill/Skew, otimização Delta Lake.
• Databricks Asset Bundles (DABs).
• CI/CD com GitLab/Azure DevOps.
• Terraform (Databricks Provider).
• Integração com GCP (GCS/BigQuery).
• Conhecimento de Hadoop/Hive legado.

Responsibilities

• Executar o diagnóstico prático nas esteiras (TXT / Medalhão).
• Implementar as melhorias de curto prazo exigidas, durante o Assessment.
• Consolidar a transferência técnica com o time que hoje sustenta o Big Data legado.

Skills

Spark/PySpark tuning

Databricks DABs

CI/CD (GitLab/Azure DevOps)

Terraform

GCP integration (GCS/BigQuery)

Hadoop/Hive legacy

Job description

Senioridade: Sênior

Descrição das Principais Atividades e Reponsabilidades:

• Executar o diagnóstico prático nas esteiras (TXT / Medalhão).
• Implementar as melhorias de curto prazo exigidas, durante o Assessment.
• Consolidar a transferência técnica com o time que hoje sustenta o Big Data legado.

Descrição Perfil Técnico:

• Tuning avançado de Spark/PySpark (Spark UI, resolução de Spill/Skew, otimização Delta Lake).
• Databricks Asset Bundles (DABs).
• CI/CD (GitLab/Azure DevOps).
• Terraform (Databricks Provider).
• Integração com GCP (GCS/BigQuery).
• Conhecimento de ambientes Hadoop/Hive legado.

Informações da Empresa:

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência. Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio.

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil. Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.