Engenheiro de Dados Azure + Databricks Sênior (Remoto)

Meu Home; Brasil; Hybrid; BRL 180.000 - 300.000; Vollzeit

Benefits dieser Stelle

Auxílio médico

Wellhub

Terapia online

Nutrição online

Seguro de vida

Day off no aniversário

Descanso remunerado

Gamificação interna

Parcerias educacionais

Bônus por certificação

Aulas de inglês

Zusammenfassung

Meu Home busca profissional de Engenharia de Dados para atuar com Databricks e ambientes multicloud (Azure e AWS). Você garantirá disponibilidade, escalabilidade e qualidade de pipelines, guiando a equipe em boas práticas de dados para iniciativas de Big Data e Analytics em diversas plataformas.

O candidato ideal possui SQL avançado, Python/PySpark e experiência com ADF, Synapse, CosmosDB, Fabric, Unity Catalog, AWS Glue e DynamoDB.

Qualifikationen

• Proficiência avançada em SQL e Python/PySpark.
• Experiência sólida com Databricks em Azure e AWS.
• Conhecimento de Azure Data Factory, Synapse, CosmosDB, Fabric e Unity Catalog.
• Experiência com AWS Glue, S3, DynamoDB, Kinesis, Lambda e Step Functions.
• Modelagem de dados (OLAP, relacional e NoSQL).
• Arquiteturas de Data Lake e Data Warehouse.
• Observabilidade, monitoramento e qualidade de dados.
• Linux aplicado à administração de ambientes de dados.

Aufgaben

• Atuar no desenho, implementação e gestão de soluções de engenharia de dados em Databricks e multicloud.
• Garantir disponibilidade, escalabilidade e qualidade dos pipelines de dados.
• Conduzir incidentes críticos em ambientes multicloud com foco em Databricks.
• Desenvolver estratégias de troubleshooting para problemas em pipelines e clusters.
• Garantir governança de dados, linhagem, auditoria e segurança.
• Apoiar desenho e implementação de arquiteturas de dados em larga escala.
• Orientar equipes na adoção de boas práticas de dados em ambientes multicloud.

Kenntnisse

SQL

Python/PySpark

Databricks

Multicloud

Data pipelines

Observability

Linux

CI/CD

Terraform

Unity Catalog

Tools

Azure Data Factory

Synapse

CosmosDB

Fabric

Unity Catalog

AWS Glue

S3

DynamoDB

Kinesis

Step Functions

Terraform

CloudFormation

Jobbeschreibung

Atuar no desenho, implementação e gestão de soluções de engenharia de dados em DATABRICKS e em ambientes multicloud (Azure e AWS). Responsável por garantir a disponibilidade, escalabilidade e qualidade dos pipelines de dados, orientando o time em boas práticas e suportando iniciativas de Big Data e Analytics em diferentes plataformas.

Responsabilidades

• Atender incidentes críticos em ambientes multicloud (Azure e AWS) com foco em Databricks.
• Liderar a otimização e escalabilidade de pipelines de dados em Azure Data Factory, Synapse, AWS Glue e Step Functions.
• Desenvolver estratégias avançadas de troubleshooting para correção rápida de problemas em pipelines e clusters.
• Garantir governança e qualidade de dados (linhagem, auditoria, semântica e usabilidade).
• Apoiar no desenho e implementação de arquiteturas de dados em larga escala.
• Orientar e treinar equipes na adoção de tecnologias e boas práticas de dados em ambientes multicloud.
• Conduzir análises de causa raiz de incidentes e propor melhorias contínuas.

Requisitos

• Proficiência avançada em SQL e experiência com linguagens como Python/PySpark.
• Experiência sólida com Databricks em ambientes Azure e AWS.
• Vivência com Azure Data Factory, Synapse, CosmosDB, Fabric e Unity Catalog.
• Vivência com AWS Glue, S3, DynamoDB, Kinesis, Lambda e Step Functions.
• Conhecimento em modelagem de dados (OLAP, relacional e NoSQL).
• Experiência em arquiteturas de Data Lake e Data Warehouse.
• Vivência em práticas de observabilidade, monitoramento e qualidade de dados.
• Conhecimento em Linux aplicado à administração de ambientes de dados.

Diferenciais

• Experiência em automação de processos de dados e pipelines via scripts ou IaC (Terraform, CloudFormation).
• Vivência em ambientes complexos de Big Data com múltiplas fontes de dados.
• Conhecimento em ferramentas de replicação, orquestração e integração (Qlik Replicate, Control-M, Datavard, SAP BODS).
• Experiência em cenários híbridos (on-premises + cloud).

Hard Skills

• Multicloud: Arquitetura e operação de soluções em Azure e AWS.
• Pipelines de Dados: ADF, Synapse, Databricks, Fabric, Glue, Step Functions, Kinesis.
• Bancos de Dados: Relacionais, NoSQL, CosmosDB, DynamoDB.
• Programação: Python, PySpark, SQL avançado.
• Governança de Dados: Unity Catalog, linhagem, auditoria, segurança e qualidade.
• Infraestrutura & Segurança: Linux, CI/CD, DevOps para dados, Terraform/CloudFormation.
• Monitoramento e Observabilidade: Métricas, logs, qualidade de dados.

Soft Skills

• Resolução de problemas
• Pensamento estratégico
• Comunicação efetiva
• Liderança técnica e orientação de equipe
• Trabalho em equipe
• Adaptabilidade
• Senso de urgência
• Aprendizado contínuo
• Integração à cultura da Dataside

Certificações desejáveis

• Azure Data Engineer Associate.
• AWS Certified Data Analytics – Specialty.
• Certificações Databricks.

O que oferecemos

• Auxílio médico: ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
• Wellhub, pra manter corpo e mente ativos, do jeito que você gosta.
• Terapia online 100%custeada pela empresa, porque saúde mental importa.
• Atendimento em nutrição online, com até 2 consultas mensais para cuidar da sua saúde alimentar.
• Seguro de vida com apólice no valor de R$ 125 mil, garantindo mais segurança para você e sua família.
• Day off no aniversário, porque o seu dia merece ser especial.
• Descanso remunerado, para que você possa recarregar as energias.
• Gamificação interna, transformando conquistas em prêmios e reconhecimento.
• Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet, pra apoiar seu crescimento e aprendizado.
• Bônus por certificação técnica, reconhecendo e recompensando seu esforço em aprender.
• Aulas de inglês gratuitas, para fortalecer seu desenvolvimento e ampliar suas oportunidades de carreira.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.