Engenheiro(a) de Dados – AMS | Azure | Databricks

Unify; Brasil; Presencial; BRL 180 000 - 260 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Vale refeição/Alimentação

Plano de saúde extensível a cônjuge e/

Plano odontológico

Wellhub (Gympass)

Auxílio Pet

Plano de medicamentos + Bem-estar 360°

Seguro de vida

Crédito do Trabalhador (e-Consignado)

Auxílio creche

Day off no aniversário

Bônus de indicação

Jubileu

Resumo da oferta

Semantix procura Engenheiro(a) de Dados para sustentar e evoluir a plataforma de dados, assegurando disponibilidade, confiabilidade e performance dos pipelines utilizados pelas áreas da companhia.

O profissional trabalhará com Azure, Databricks, Python, PySpark e SQL, envolvendo arquitetura Lakehouse, governança e integração entre diversas áreas de negócio.

Qualificações

• Experiência com implementações em Azure e Databricks, com foco em pipelines de dados.
• Domínio de Python, PySpark e SQL para transformação de dados.
• Experiência com arquitetura Lakehouse e organização de dados por camadas (Bronze, Silver, Gold).
• Experiência com Git e Azure DevOps.
• Experiência com APIs e integração entre fontes de dados.
• Boas práticas de engenharia, qualidade e governança de dados.
• Capacidade de investigar incidentes, resolver problemas e manter a disponibilidade.

Responsabilidades

• Sustentar, monitorar e evoluir pipelines de ingestão e processamento de dados.
• Investigar e corrigir falhas em pipelines, jobs e notebooks.
• Desenvolver soluções utilizando Python, PySpark e SQL.
• Desenvolver e manter pipelines em Azure e Databricks.
• Ingestão, transformação e disponibilização de dados nas camadas da arquitetura.
• Garantir qualidade, integridade, rastreabilidade e disponibilidade dos dados.
• Realizar análise de causa raiz de incidentes.
• Monitorar e otimizar performance de pipelines.
• Automatizar atividades operacionais e processos recorrentes.
• Documentar pipelines e procedimentos.

Conhecimentos

Microsoft Azure

Databricks

Python

PySpark

SQL

Git

Azure DevOps

CI/CD

Data Lakehouse

Ferramentas

Azure DevOps

Power BI

Delta Lake

Descrição da oferta de emprego

Estamos em busca de um(a) Engenheiro(a) de Dados para atuar na sustentação e evolução da plataforma de dados da Motiva, garantindo disponibilidade, confiabilidade e performance dos pipelines e produtos de dados utilizados pelas diferentes áreas da companhia.

O profissional atuará na investigação e resolução de incidentes, desenvolvimento de melhorias e evolução de pipelines utilizando Azure, Databricks, Python, PySpark e SQL, trabalhando com arquitetura Lakehouse e organização dos dados em camadas. A posição exige autonomia técnica, capacidade investigativa e interação constante com equipes de Analytics, Ciência de Dados, Governança e áreas de negócio.

Responsabilidades e atribuições

• Sustentar, monitorar e evoluir pipelines de ingestão e processamento de dados.
• Investigar e corrigir falhas em pipelines, jobs, notebooks e processos de dados.
• Desenvolver soluções utilizando Python, PySpark e SQL.
• Desenvolver e manter pipelines em Azure e Databricks.
• Atuar na ingestão, transformação e disponibilização de dados nas diferentes camadas da arquitetura.
• Garantir qualidade, integridade, rastreabilidade e disponibilidade dos dados.
• Realizar análise de causa raiz de incidentes e implementar soluções definitivas.
• Monitorar e otimizar performance de pipelines e processamento de dados.
• Desenvolver integrações com bancos de dados, arquivos, APIs e diferentes fontes de informação.
• Automatizar atividades operacionais e processos recorrentes.
• Aplicar boas práticas de desenvolvimento, versionamento e CI/CD.
• Atuar em conjunto com Analytics, DataViz, Ciência de Dados e Governança.
• Documentar pipelines, procedimentos técnicos e soluções implementadas.
• Apoiar a gestão de incidentes, problemas, requisições e melhorias do ambiente.

Requisitos e qualificações

Obrigatórios

• Experiência com Microsoft Azure.
• Experiência sólida com Databricks.
• Conhecimento em Python, PySpark e SQL.
• Experiência na construção e sustentação de pipelines de dados.
• Conhecimento em Azure Data Factory.
• Experiência com processamento distribuído utilizando Spark.
• Conhecimento em arquitetura Lakehouse e Medalhão (Bronze, Silver e Gold).
• Experiência com modelagem e transformação de dados.
• Conhecimento em Git e Azure DevOps.
• Experiência com APIs e integração entre diferentes fontes de dados.
• Conhecimento em boas práticas de engenharia, qualidade e governança de dados.

Diferenciais

• Experiência com Delta Lake.
• Conhecimento em Unity Catalog.
• Experiência com CI/CD e DataOps.
• Conhecimento em observabilidade e monitoramento de pipelines.
• Experiência com Hadoop/Hive.
• Conhecimento em Power BI.
• Experiência com MLOps.
• Vivência em ambientes de AMS ou sustentação de plataformas de dados.

Perfil esperado

• Forte capacidade investigativa e resolução de problemas.
• Autonomia para análise e tratamento de incidentes.
• Proatividade na identificação de melhorias e automações.
• Boa comunicação com áreas técnicas e de negócio.
• Organização e disciplina operacional.
• Capacidade de atuar com múltiplas demandas e diferentes níveis de criticidade.
• Senso de ownership e responsabilidade sobre as soluções sustentadas.

Benefícios

• Vale refeição ou Vale alimentação
• Plano de saúde extensível a cônjuge e filhos
• Plano odontológico
• Wellhub (Gympass)
• Auxílio Pet
• Plano de medicamentos + Bem-estar 360°
• Seguro de vida
• Crédito do Trabalhador (e-Consignado)
• Auxílio creche - conforme regras sindicais da localidade
• Programa de acompanhamento à gestantePrograma Minha Nova Parceria de Confiança
• Day off no seu aniversário
• Bônus de indicação para nossas vagas
• Jubileu (premiação personalizada por tempo de empresa)

Na Semantix, valorizamos as pessoas e incentivamos a inovação e o desenvolvimento contínuo, sempre guiados pela ética, transparência e respeito à diversidade e pluralidade.

Acreditamos que a diversidade é essencial para a construção de soluções mais inteligentes e inovadoras. Todas as nossas oportunidades são afirmativas para Pessoas com Deficiência (PCD) e promovemos um ambiente inclusivo, respeitando identidade ou expressão de gênero, orientação sexual, religião, etnia, idade, deficiência, nacionalidade ou qualquer outro aspecto

Aviso de Proteção de Dados

Os dados pessoais coletados serão utilizados exclusivamente para o processo seletivo e tratados conforme os níveis de segurança adotados pela Semantix.

Informações adicionais

Caso você seja de São Paulo e Região Metropolitana ou Londrina e Região Metropolitana, o contrato de trabalho será na modalidade presencial, com base em São Paulo ou Londrina respectivamente, e os escritórios permanecem disponíveis para utilização sempre que necessário.

Atualmente, a dinâmica das equipes tem sido mais flexível, sendo a atuação definida em conjunto com a liderança conforme as necessidades do projeto e diretrizes da empresa.

Caso haja necessidade de ajustes nesse formato, você será comunicado com antecedência para organização.