Engenheiro De Dados

Niteo Technologies; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em dados está em busca de um profissional para projetar e manter pipelines de dados escaláveis em ambientes cloud, especialmente no Azure. O candidato ideal deve ter experiência sólida em Azure Data Services, Databricks e Apache Spark, além de proficiência em Python e SQL. O papel envolve colaboração com equipes diversas para entender necessidades de dados e otimizar processos. Esta posição proporciona a oportunidade de trabalhar em um ambiente dinâmico e inovador.

Qualificações

• Experiência sólida com Azure Data Services como Data Lake e Data Factory.
• Domínio de Databricks e Apache Spark para processamento de dados.
• Proficiência em Python e SQL para manipulação de dados.

Responsabilidades

• Projetar e manter pipelines de dados em ambientes cloud.
• Colaborar com times para entender as necessidades dos dados.
• Implementar boas práticas de governança e documentação.

Conhecimentos

Azure Data Services

Databricks

Apache Spark

Python

SQL

DevOps para dados

Análise de dados

Ferramentas

Git

Power BI

Descrição da oferta de emprego

Responsabilidades

Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes em ambientes cloud (Azure).

Trabalhar com Databricks para processamento de dados em larga escala, utilizando Spark.

Garantir a qualidade, integridade e segurança dos dados em todas as etapas do processo.

Colaborar com times de produto, engenharia e negócios para entender necessidades e traduzir em soluções de dados.

Implementar boas práticas de governança, versionamento e documentação de dados.

Otimizar performance de pipelines e custos de infraestrutura em cloud.

Participar da definição de arquitetura de dados e estratégias de integração entre sistemas.

Requisitos

Experiência sólida com Azure Data Services (Data Lake, Data Factory, Synapse, etc.).

Domínio de Databricks e Apache Spark.

Proficiência em Python e SQL.

Conhecimento emagem de dados, ETL / ELT e arquitetura orientada a dados.

Experiência com versionamento de código (Git) e práticas DevOps para dados.

Familiaridade com ferramentas de orquestração e monitoramento de pipelines.

Capacidade analítica, atenção a detalhes e perfil colaborativo.

Desejável

Experiência com Delta Lake, Unity Catalog e CI / CD para dados.

Conhecimento em Power BI ou outras ferramentas de visualização.

Experiência em ambientes ágeis e squads multidisciplinares.

Inglês técnico.