Senior Data Engineer - Azure Databricks & Data Governance

OpenKrill; United States; Remote; USD 110,000 - 170,000; Full time

Benefits offered by this job

Plano de saúde

Vale alimentação e refeição

Auxílio-creche

Licença parental estendida

PLR

Seguro de Vida

CI&T University

Job summary

CI&T procura engenheiro(a) de dados para garantir a integridade, consistência e eficiência dos modelos de dados em todo o ecossistema. Você revisará estruturas, definirá padrões e assegurará governança, com atuação em pipelines ETL/ELT, Databricks e Azure ML.

As responsabilidades incluem projetar modelos de dados, apoiar migrações para a nuvem e colaborar com equipes de negócio para deploy de IA, mantendo práticas de data profiling e qualidade de dados.

Qualifications

• Experiência sólida em Azure Data Services e Databricks.
• Experiência com PySpark e Python para transformação de dados.
• Conhecimento de modelagem analítica de dados e camadas de ingestão/preparação/consumo.

Responsibilities

• Desenvolver e manter pipelines de dados (ETL/ELT) em Azure com Databricks.
• Conduzir visão 360° do projeto e impactos das soluções.
• Aplicar CI/CD e versionamento de código com GitHub.
• Modelar e evoluir tabelas no Unity Catalog com versionamento de schema.
• Projetar e otimizar modelos de dados para escalabilidade e governança.
• Apoiar migração para a cloud com foco em segurança e qualidade dos dados.
• Colaborar com times de negócio e ciência de dados para deploy de IA na cloud.
• Garantir qualidade dos dados via profiling e monitoramento.

Skills

Azure Data Services or equivalent

Databricks

PySpark

Python

SQL

CI/CD

GitHub

Data modeling

Cloud migration

AI model deployment

Tools

Databricks

Azure ML

Job description

CI&T procura engenheiro(a) de dados para garantir a integridade, consistência e eficiência dos modelos de dados em todo o ecossistema. Você revisará estruturas, definirá padrões e assegurará governança, com atuação em pipelines ETL/ELT, Databricks e Azure ML.

As responsabilidades incluem projetar modelos de dados, apoiar migrações para a nuvem e colaborar com equipes de negócio para deploy de IA, mantendo práticas de data profiling e qualidade de dados.