Engenheiro de dados Sênior

Inventcloud; São Paulo; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em dados está em busca de um(a) Engenheiro(a) de Dados Sênior para otimizar sua infraestrutura de dados. Com foco em Azure e Databricks, o(a) profissional será fundamental na construção de soluções escaláveis e eficientes. A posição oferece um pacote de remuneração competitivo e um ambiente de trabalho híbrido. Se você tem mais de 5 anos de experiência e habilidades em Python e SQL, venha fazer parte do nosso time!

Serviços

Pacote de remuneração competitivo

Oportunidades de desenvolvimento profissional

Ambiente de trabalho flexível

Cultura que valoriza a inovação

Acesso às mais novas tecnologias

Qualificações

• Mínimo de 5 anos de experiência em Engenharia de Dados, com foco em plataformas cloud.
• Sólida experiência com serviços Azure.
• Proficiência no uso do Databricks e Apache Spark para processamento de dados em larga escala.
• Excelentes habilidades em Python e SQL.
• Forte entendimento de arquiteturas de Data Lake e processos ETL/ELT.

Responsabilidades

• Desenvolver, implementar e manter pipelines de ingestão e transformação de dados.
• Garantir a performance e escalabilidade de soluções de dados com Apache Spark.
• Criar e gerenciar modelos de dados em Data Lakes e Data Warehouses.
• Implementar rotinas de qualidade de dados e monitorar a integridade das informações.
• Trabalhar em colaboração com equipes para entregar soluções inovadoras.
• Utilizar ferramentas de CI/CD para automatizar o deploy de projetos de dados.

Conhecimentos

Experiência Comprovada

Expertise em Azure

Domínio de Databricks/Spark

Linguagens de Programação

Conceitos de Dados

Resolução de Problemas

Comunicação

Ferramentas

Azure Data Factory

Databricks

Azure Data Lake Storage Gen2

Azure Synapse Analytics

Descrição da oferta de emprego

Engenheiro(a) de Dados Sênior (Azure & Databricks) ;

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior com sólida expertise em Microsoft Azure e Databricks para fortalecer nossa equipe de dados. Você será peça chave na construção e otimização de nossa infraestrutura de dados escalável, garantindo que nossos dados sejam acessíveis, confiáveis e prontos para impulsionar análises e modelos de Machine Learning. Venha fazer a diferença em um ambiente dinâmico e colaborativo!

Suas Responsabilidades Incluirão:

• Projetar e Construir Pipelines: Desenvolver, implementar e manter pipelines de ingestão e transformação de dados robustos e eficientes, utilizando Azure Data Factory, Azure Functions e Databricks.
• Otimização e Escalabilidade: Garantir a performance e escalabilidade de soluções de dados em grande volume (Big Data) com Apache Spark no ambiente Databricks.
• Modelagem de Dados: Criar e gerenciar modelos de dados eficazes em Data Lakes (Azure Data Lake Storage Gen2) e Data Warehouses (Azure Synapse Analytics ou Databricks SQL Analytics).
• Qualidade e Governança: Implementar e monitorar rotinas de qualidade de dados, garantindo a integridade, consistência e segurança das informações.
• Colaboração e Inovação: Trabalhar em estreita colaboração com cientistas de dados, analistas de negócios e outras equipes para entender suas necessidades e entregar soluções inovadoras.
• Automação e CI/CD: Utilizar ferramentas de CI/CD (Azure DevOps) para automatizar o deploy e a gestão de projetos de dados.

O Que Buscamos em Você:

• Experiência Comprovada: Mínimo de 5 anos de experiência em Engenharia de Dados, com foco em plataformas cloud.
• Expertise em Azure: Sólida experiência com serviços Azure, incluindo Azure Data Lake Storage Gen2, Azure Data Factory, Azure Synapse Analytics e/ou Azure SQL Database.
• Domínio de Databricks/Spark: Proficiência no uso do Databricks e Apache Spark (PySpark ou Scala) para processamento de dados em larga escala.
• Linguagens de Programação: Excelentes habilidades em Python e SQL.
• Conceitos de Dados: Forte entendimento de arquiteturas de Data Lake, Data Warehouse, modelagem dimensional e processos ETL/ELT.
• Resolução de Problemas: Capacidade analítica aguçada e proatividade na identificação e resolução de desafios complexos.
• Comunicação: Boa comunicação interpessoal e colaborativa.

Seria um Diferencial :

• Certificações Microsoft Azure (DP-203 ou similares) ou Databricks.
• Experiência com Delta Lake, Unity Catalog/ou MLflow.
• Conhecimento em ferramentas de visualização de dados como Power BI.
• Familiaridade com metodologias ágeis (Scrum/Kanban).

O Que Oferecemos:

• Pacote de remuneração competitivo.
• Oportunidades de desenvolvimento profissional e treinamentos constantes.
• Ambiente de trabalho flexível (híbrido/remoto ).
• Cultura que valoriza a inovação, colaboração e o bem-estar.
• Acesso às mais novas tecnologias e ferramentas do mercado.

Venha Fazer Parte do Nosso Time!