Engenheiro De Dados Sênior - 1388

Decision Group; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia localizada em São Paulo, Brasil, está em busca de um Engenheiro de Dados para trabalhar 100% remoto. Este profissional será responsável por desenvolver e otimizar pipelines de dados utilizando tecnologias de ponta no Azure e Databricks. O candidato ideal terá mais de 5 anos de experiência em engenharia de dados, forte conhecimento em Python e SQL, e experiência comprovada com CI/CD. A posição também envolve colaboração com equipes de Data Science e Analytics.

Qualificações

• Experiência mínima de 5+ anos em engenharia de dados em ambientes Azure e Databricks.
• Conhecimento em Microsoft Azure (Data Factory, Synapse, Data Lake Gen2).
• Experiência com pipelines de dados e soluções analíticas.

Responsabilidades

• Projetar e otimizar pipelines de dados para modelos preditivos.
• Criar e manter arquiteturas medallion em Data Lake.
• Orquestrar workflows complexos com Apache Airflow.
• Automatizar processos de ingestão e transformação de dados.
• Documentar processos e garantir boas práticas de engenharia.

Conhecimentos

Engenharia de dados

Azure

Databricks

Apache Spark

Python

SQL

Scala

Ferramentas

Azure DevOps

Kafka

Git

Unity Catalog

Azure Key Vault

Descrição da oferta de emprego

Descrição :

Período : inicial 3 meses, renovável por tempo indeterminado.

100% remoto.

Habilidades : Resumo Profissional :

Desenvolver e otimizar arquiteturas e pipelines de dados escaláveis, seguras e orientadas à governança, utilizando tecnologias modernas em nuvem (Azure) e plataformas de processamento distribuído (Databricks), garantindo alta disponibilidade, qualidade e integração com soluções analíticas e preditivas

Responsabilidades Principais

Projetar, desenvolver, implementar e otimizar pipelines de dados (books) para alimentar modelos preditivos e analíticos.

Criar e manter arquiteturas medallion (Bronze, Silver, Gold) em Data Lake e Lakehouse.

Orquestrar workflows complexos com Apache Airflow e práticas de CI / CD via Azure DevOps.

Automatizar processos de ingestão, transformação e validação de dados, garantindo qualidade, integridade e consistência.

Monitorar e solucionar problemas relacionados aos pipelines de dados.

Integrar soluções com Delta Lake, Unity Catalog e ferramentas de governança.

Documentar processos e garantir boas práticas de engenharia de dados.

Trabalhar em colaboração com times de Data Science, Analytics e Engenharia para entender requisitos e entregar soluções robustas.

Contribuir para a evolução da arquitetura de dados da empresa.

Apoiar iniciativas de IA Generativa e integração com LLMs para análises avançadas.

Requisitos

• Experiência mínima: 5+ anos em engenharia de dados, com atuação comprovada em ambientes Azure e Databricks.
• Cloud: Microsoft Azure (Data Factory, Synapse, Data Lake Gen2, Key Vault).
• Big Data: Databricks, Apache Spark, Delta Lake.
• Linguagens: Python, SQL (avançado), Scala (desejável).
• Ferramentas e Tecnologias:
  • AKV (Azure Key Vault) – Gerenciamento seguro de segredos e chaves.
  • Kafka (Apache Kafka) – Plataforma de streaming distribuído para ingestão de dados em tempo real.
  • Git – Controle de versão e colaboração em código.
  • Azure DevOps – Integração contínua (CI) e entrega contínua (CD), gestão de pipelines e repositórios.
  • Governança: Unity Catalog, segurança de dados, versionamento.
  • Integrações: Desenvolvimento e consumo de APIs para integração entre sistemas.
• Certificações desejáveis:
  • DP-900 (Azure Data Fundamentals)
  • AZ-900 (Azure Fundamentals)
  • Databricks Certified Data Engineer Associate