Engenheiro(a) de Dados | DataSecOps

Jump; São Paulo; On-site; BRL 201,000 - 312,000; Full time

Job summary

A Jump, empresa brasileira de tecnologia e análise de dados, busca um profissional sênior para conduzir diagnósticos práticos, aplicar melhorias de curto prazo durante o Assessment e consolidar a transferência técnica com a equipe que sustenta o Big Data legado.

O candidato ideal terá tuning avançado de Spark/PySpark, experiência com Databricks e DABs, CI/CD (GitLab/Azure DevOps), Terraform (Databricks Provider), integração com GCP (BigQuery/GCS) e conhecimento de Hadoop/Hive legado.

Qualifications

• Tuning avançado de Spark/PySpark e otimização de Delta Lake.
• Experiência com Databricks e DABs em ambientes corporativos.
• Conhecimento de CI/CD (GitLab/Azure DevOps) e Terraform.
• Integração com GCP (GCS/BigQuery) e Hadoop/Hive legado.

Responsibilities

• Executar diagnóstico prático nas esteiras (TXT / Medalhão).
• Implementar melhorias de curto prazo exigidas durante o Assessment.
• Consolidar transferência técnica com a equipe de Big Data legado.

Tools

Spark tuning

PySpark

Delta Lake

Databricks DABs

CI/CD (GitLab)

CI/CD (Azure DevOps)

Terraform

Databricks Provider

GCP integration

BigQuery

Hadoop/Hive legado

Job description

Senioridade:

Sênior

Descrição das Principais Atividades e Reponsabilidades:

• Executar o diagnóstico prático nas esteiras (TXT / Medalhão).


• Implementar as melhorias de curto prazo exigidas, durante o Assessment.


• Consolidar a transferência técnica com o time que hoje sustenta o Big Data legado.

Descrição Perfil Técnico:

• Tuning avançado de Spark/PySpark (Spark UI, resolução de Spill/Skew, otimização Delta Lake).


• Databricks Asset Bundles (DABs).


• CI/CD (GitLab/Azure DevOps).


• Terraform (Databricks Provider).


• Integração com GCP (GCS/BigQuery).


• Conhecimento de ambientes Hadoop/Hive legado.

Informações da Empresa:

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência.Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio.

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil. Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.