Data Engineer Azure Expert - BP

Decision Group; São Paulo; Presencial; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de consultoria em tecnologia busca um Engenheiro de Testes para projetar e manter pipelines ETL/ELT escaláveis. O candidato ideal deve ter experiência em Azure e Apache Spark, com habilidades em otimização de dados. Essa função oferece flexibilidade de trabalho remoto em qualquer lugar do Brasil. Proatividade e boa comunicação são essenciais.

Qualificações

• Mínimo de 3 anos de experiência em engenharia de dados.
• Esse papel exige conhecimentos em dados em nuvem e ferramentas específicas.

Responsabilidades

• Desenhar, desenvolver e manter pipelines ETL/ELT escaláveis usando Azure Data Services.
• Construir soluções de processamento de dados de alto desempenho com Apache Spark.
• Colaborar com cientistas de dados e partes interessadas para entender requisitos de dados.
• Otimizar workflows para eficiência de custo em nuvem.
• Implementar melhores práticas de segurança e conformidade de dados.
• Desenvolver pipelines CI/CD para workflows de engenharia de dados.
• Monitorar e melhorar soluções de dados existentes.

Conhecimentos

Azure Data Bricks

Azure Data Factory

Azure Data Services

Parquet

Delta

Hudi

Iceberg

Great Expectations

Soda

Cognito

WAF

IAM Policies

Formação académica

Ensino Superior Completo

Descrição da oferta de emprego

Detalhes da Vaga

Cargo: Engenheiro de Testes

Empresa: Decision Group

Localização: Home‑Office, Anywhere from Brazil

Salário: A combinar

Requisitos Acadêmicos

Nível Acadêmico: Ensino Superior Completo

Responsabilidades

• Design, develop, and maintain scalable ETL / ELT pipelines using Azure Data Services (Azure Data Factory, Azure Databricks, Azure Synapse, etc.)
• Build high-performance data processing solutions with Apache Spark (PySpark) on Azure Databricks.
• Collaborate with data scientists, analysts, and business stakeholders to understand data requirements and deliver clean, reliable datasets.
• Optimize data workflows / pipelines for performance and cost efficiency in a cloud environment.
• Implement best practices around data security, governance, and compliance.
• Develop CI / CD pipelines for data engineering workflows.
• Monitor, troubleshoot, and enhance existing data solutions for reliability and performance.
• Document design patterns, best practices, and operational procedures.

Qualificações e Habilidades

Experiência mínima: 3 Years

• Azure Data Bricks; Azure Data Factory; Azure Data Services.
• Experience with columnar and table formats (Parquet, Delta, Hudi, Iceberg).
• Use of Data Quality tools (Great Expectations, Soda).
• Knowledge in Step Functions, EventBridge or Kinesis.
• Good API security practices (Cognito, WAF, IAM Policies).
• Soft skills: boa comunicação e trabalho em equipe, proatividade na resolução de problemas, capacidade de lidar com ambientes ágeis e mudanças rápidas.

Horário

Horário de Trabalho: 08:00 AM to 05:00 PM

Sobre a Empresa

Atua com consultoria de mão de obra de serviços de tecnologia. Ramo: Recursos Humanos / Recrutamento e seleção (DF).