Engenheiro de Dados Azure + Databricks Sênior (Remoto)

DATASIDE; Brasil; Remote; BRL 180,000 - 250,000; Full time

Benefits offered by this job

Auxílio médico

Wellhub

Terapia online 100% custeada

Nutrição online com consultas

Seguro de vida R$ 125 mil

Day off no aniversário

Descanso remunerado

Gamificação interna

Parcerias educacionais com FIAP, Anhoc

Bônus por certificação técnica

Aulas de inglês gratuitas

Job summary

A DATASIDE procura um engenheiro de dados sênior para desenhar, implementar e gerenciar soluções em Databricks e ambientes multicloud (Azure/AWS). Responsável por pipelines escaláveis, governança de dados e suporte a iniciativas de Big Data.

Requisitos incluem SQL avançado, Python/PySpark e experiência prática com Databricks em Azure e AWS. Oferecemos benefícios, cultura colaborativa e oportunidades de desenvolvimento.

Qualifications

• Proficiência avançada em SQL e Python/PySpark.
• Experiência sólida com Databricks em Azure e AWS.
• Conhecimento de Azure Data Factory, Synapse, CosmosDB e Unity Catalog.
• Experiência com AWS Glue, S3, DynamoDB, Kinesis, Lambda e Step Functions.
• Modelagem de dados (OLAP, relacional e NoSQL) e governança de dados.

Responsibilities

• Desenhar, implementar e gerenciar soluções de dados com foco em Databricks multicloud.
• Garantir disponibilidade, escalabilidade e qualidade de pipelines.
• Atender incidentes críticos em ambientes multicloud com foco em Databricks.
• Otimizar pipelines em Azure Data Factory, Synapse, AWS Glue e Step Functions.
• Conduzir governança de dados, linhagem, auditoria e qualidade.
• Treinar equipes na adoção de boas práticas de dados em ambientes multicloud.
• Conduzir análises de causas raiz e propor melhorias contínuas.

Skills

Resolução de problemas

Pensamento estratégico

Comunicação efetiva

Liderança técnica

Trabalho em equipe

Adaptabilidade

Senso de urgência

Aprendizado contínuo

Cultura Dataside

Tools

Databricks

Azure

AWS

Azure Data Factory

Synapse

CosmosDB

Fabric

Unity Catalog

AWS Glue

S3

DynamoDB

Kinesis

Lambda

Step Functions

Data Lake

Data Warehouse

Python

PySpark

SQL avançado

Linux

Terraform/CloudFormation

Job description

Papel na empresa

Atuar no desenho, implementação e gestão de soluções de engenharia de dados em DATABRICKS e em ambientes multicloud (Azure e AWS). Responsável por garantir a disponibilidade, escalabilidade e qualidade dos pipelines de dados, orientando o time em boas práticas e suportando iniciativas de Big Data e Analytics em diferentes plataformas.

Responsabilidades

Atender incidentes críticos em ambientes multicloud (Azure e AWS) com foco em Databricks.
Liderar a otimização e escalabilidade de pipelines de dados em Azure Data Factory, Synapse, AWS Glue e Step Functions.
Desenvolver estratégias avançadas de troubleshooting para correção rápida de problemas em pipelines e clusters.
Garantir governança e qualidade de dados (linhagem, auditoria, semântica e usabilidade).
Apoiar no desenho e implementação de arquiteturas de dados em larga escala.
Orientar e treinar equipes na adoção de tecnologias e boas práticas de dados em ambientes multicloud.
Conduzir análises de causa raiz de incidentes e propor melhorias contínuas.

Requisitos

Proficiência avançada em SQL e experiência com linguagens como Python/PySpark.
Experiência sólida com Databricks em ambientes Azure e AWS.
Vivência com Azure Data Factory, Synapse, CosmosDB, Fabric e Unity Catalog.
Vivência com AWS Glue, S3, DynamoDB, Kinesis, Lambda e Step Functions.
Conhecimento em modelagem de dados (OLAP, relacional e NoSQL).
Experiência em arquiteturas de Data Lake e Data Warehouse.
Vivência em práticas de observabilidade, monitoramento e qualidade de dados.
Conhecimento em Linux aplicado à administração de ambientes de dados.

Diferenciais

Experiência em automação de processos de dados e pipelines via scripts ou IaC (Terraform, CloudFormation).
Vivência em ambientes complexos de Big Data com múltiplas fontes de dados.
Conhecimento em ferramentas de replicação, orquestração e integração (Qlik Replicate, Control-M, Datavard, SAP BODS).
Experiência em cenários híbridos (on-premises + cloud).

Hard Skills

Multicloud: Arquitetura e operação de soluções em Azure e AWS.
Pipelines de Dados: ADF, Synapse, Databricks, Fabric, Glue, Step Functions, Kinesis.
Bancos de Dados:Relacionais, NoSQL, CosmosDB, DynamoDB.
Programação: Python, PySpark, SQL avançado.
Governança de Dados: Unity Catalog, linhagem, auditoria, segurança e qualidade.
Infraestrutura & Segurança:Linux, CI/CD, DevOps para dados, Terraform/CloudFormation.
Monitoramento e Observabilidade: Métricas, logs, qualidade de dados.

Soft Skills

Resolução de problemas
Pensamento estratégico
Comunicação efetiva
Liderança técnica e orientação de equipe
Trabalho em equipe
Adaptabilidade
Senso de urgência
Aprendizado contínuo
Integração à cultura da Dataside

Certificações desejáveis

Azure Data Engineer Associate.
AWS Certified Data Analytics – Specialty.
Certificações Databricks.

O que oferecemos:

• Auxílio médico:ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
• Wellhub, pra manter corpo e mente ativos, do jeito que você gosta.
• Terapia online100%custeada pela empresa, porque saúde mental importa.
• Atendimento em nutrição online, com até 2 consultas mensais para cuidar da sua saúde alimentar.
• Seguro de vidacom apólice no valor de R$ 125 mil, garantindo mais segurança para você e sua família.
• Day off no aniversário, porque o seu dia merece ser especial.
• Descanso remunerado, para que você possa recarregar as energias.
• Gamificação interna, transformando conquistas em prêmios e reconhecimento.
• Parcerias educacionaiscom faculdades como FIAP, Anhanguera e Instituto Infnet, pra apoiar seu crescimento e aprendizado.
• Bônus por certificação técnica, reconhecendo e recompensando seu esforço e aprendizado.
• Aulas de inglês gratuitas, por fortalecer seu desenvolvimento

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.