Engenheiro(a) de Dados - Azure & Databricks

Semantix; United States; Remote; USD 100,000 - 150,000; Full time

Job summary

Semantix está buscando um Engenheiro(a) de Dados para sustentar e evoluir a plataforma de dados, assegurando disponibilidade, confiabilidade e performance dos pipelines utilizados pelas áreas da empresa. O profissional atuará em Azure, Databricks, Python, PySpark e SQL, trabalhando com arquitetura Lakehouse e organização de dados em camadas.

Solicita autonomia técnica, capacidade investigativa e interação com Analytics, Governança e áreas de negócio.

Qualifications

• Experiência com Microsoft Azure.
• Experiência sólida com Databricks.
• Conhecimento em Python, PySpark e SQL.
• Experiência na construção e sustentação de pipelines de dados.
• Conhecimento em Azure Data Factory.
• Experiência com processamento distribuído utilizando Spark.
• Conhecimento em arquitetura Lakehouse e Bronze/Silver/Gold.
• Experiência com modelagem e transformação de dados.
• Conhecimento em Git e Azure DevOps.
• Experiência com APIs e integração entre diferentes fontes de dados.
• Conhecimento em boas práticas de engenharia, qualidade e governança de dados.

Responsibilities

• Sustentar, monitorar e evoluir pipelines de ingestão e processamento de dados.
• Investigar e corrigir falhas em pipelines, jobs, notebooks e processos de dados.
• Desenvolver soluções utilizando Python, PySpark e SQL.
• Desenvolver e manter pipelines em Azure e Databricks.
• Atuar na ingestão, transformação e disponibilização de dados nas diferentes camadas da arquitetura.
• Garantir qualidade, integridade, rastreabilidade e disponibilidade dos dados.
• Realizar análise de causa raiz de incidentes e implementar soluções definitivas.
• Monitorar e otimizar performance de pipelines e processamento de dados.
• Desenvolver integrações com bancos de dados, arquivos, APIs e diferentes fontes de informação.
• Automatizar atividades operacionais e processos recorrentes.
• Aplicar boas práticas de desenvolvimento, versionamento e CI/CD.
• Atuar em conjunto com Analytics, DataViz, Ciência de Dados e Governança.
• Documentar pipelines, procedimentos técnicos e soluções implementadas.
• Apoiar a gestão de incidentes, problemas, requisições e melhorias do ambiente.

Skills

Azure

Databricks

Python

PySpark

SQL

Spark

Modelagem de dados

Tools

Azure Data Factory

Git

Azure DevOps

Delta Lake

Unity Catalog

Power BI

Job description

Semantix está buscando um Engenheiro(a) de Dados para sustentar e evoluir a plataforma de dados, assegurando disponibilidade, confiabilidade e performance dos pipelines utilizados pelas áreas da empresa. O profissional atuará em Azure, Databricks, Python, PySpark e SQL, trabalhando com arquitetura Lakehouse e organização de dados em camadas.

Solicita autonomia técnica, capacidade investigativa e interação com Analytics, Governança e áreas de negócio.