Vaga Para Pessoa Jurídica: Senior Data Engineer (Databricks & Ai Platforms) - Sp

Keep Simple; São Bernardo do Campo; On-site; BRL 180,000 - 300,000; Full time

Job summary

A KEEP SIMPLE é uma empresa de consultoria em TI que busca um Senior Data Engineer para projetar, construir e otimizar plataformas de dados escaláveis para analytics, BI, ML e soluções IA. O papel envolve liderar iniciativas de dados, governança e práticas de DataOps, trabalhando com equipes de AI e dados.

O candidato ideal terá experiência com Databricks, Spark, Python e SQL, além de habilidades em pipelines de dados, governance e integração de dados para aplicações de IA e LLM.

Qualifications

• Experiência em design, construção e otimização de plataformas de dados escaláveis.
• Proficiência em Databricks, Spark, Python e SQL.
• Conhecimento de governança de dados, qualidade e observabilidade.
• Capacidade de atuar com IA Gerativa e pipelines de ML.

Responsibilities

• Desenhar, desenvolver e manter pipelines de dados e produtos orientados por analytics.
• Otimizar jobs Spark, cargas SQL e estruturas de dados para escalabilidade e custo.
• Colaborar com cientistas de dados e engenheiros de IA para preparar dados para IA/ML.
• Implementar governança de dados, qualidade, observabilidade e segurança.

Skills

Liderança técnica

Mentoria

Tools

Databricks

Spark

Python

SQL

Delta Lake

Medallion

Job description

The Senior Data Engineer is responsible for designing, building, and optimizing scalable data platforms and pipelines that support analytics, business intelligence, machine learning (ML), and AI-driven solutions. This role partners with data scientists, AI engineers, architects, and business stakeholders to deliver trusted, high-quality data products using Databricks, cloud technologies, and modern data engineering practices. The position also serves as a technical leader in enabling enterprise AI and Generative AI initiatives through robust, secure, and governed data platforms. Key Responsibilities:Design, develop, and maintain scalable data pipelines and data products using Databricks, Spark, Python, and SQL. Build and optimize batch, streaming, and real-time data integration solutions from enterprise and third-party data sources. Implement Databricks Lakehouse architectures utilizing Delta Lake and Medallion design patterns. Develop and maintain data products that support analytics, predictive modeling, machine learning, and Generative AI applications. Collaborate with Data Scientists and AI Engineers to prepare, transform, and govern data for AI and ML use cases. Design and implement feature engineering pipelines and support ML lifecycle processes. Develop data solutions that support Retrieval Augmented Generation (RAG), vector search, semantic search, and LLM-based applications. Optimize Spark jobs, SQL workloads, and data processing frameworks for performance, scalability, and cost efficiency. Implement data quality, observability, lineage, governance, and monitoring capabilities. Ensure compliance with data privacy, security, and responsible AI standards. Contribute to CI/CD, Infrastructure-as-Code, and DataOps practices across the data platform. Mentor junior engineers and promote engineering best practices across the organization.

Formação Acadêmica:

Não informado

Salário:

A combinar

Cargo:

Outros

Empresa:

KEEP SIMPLE

É uma empresa de serviços e consultoria em Tecnologia da Informação.Integramos tecnologias com visão de negócio e espírito inovador.

Ramo:

Informática/ Tecnologia

(DE)