Engenheiro de Dados Sênior

Sírio-Libanês

São Paulo

Hybrid

BRL 180,000 - 300,000

Full time

8 hours ago

Be an early applicant

Application generator

Get a reply from this employer — a resume and cover letter tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Assistência Médica

Programa Cuidando de Quem Cuida

Assistência Odontológica

Convênio Farmácias

Seguro de vida

Desconto em vacinas

Convênio Academias

Vale Alimentação

Vale Refeição ou Refeitório no local

Auxílio home-office

Clube de Beneficios

Job summary

Sírio-Libanês, unidade Bela Vista, busca Engenheiro de Dados para projetar, desenvolver e manter pipelines escaláveis com Databricks. O profissional definirá a arquitetura de dados com foco em performance, segurança e custos, construindo soluções em PySpark, Python e SQL e integrando Delta Lake em uma arquitetura Lakehouse.

A vaga exige experiência em nuvem (AWS) e ferramentas de orquestração, além de governança, qualidade e observabilidade de dados.

Qualifications

Ensino superior completo em Tecnologia, Engenharia, Ciência da Computação, Estatística ou áreas relacionadas.
Experiência sólida em Engenharia de Dados, desenvolvendo e evoluindo pipelines e soluções de dados.
Experiência prática com Databricks e arquitetura Lakehouse.
Experiência com Delta Lake e processamento de grandes volumes de dados.
Conhecimento de arquitetura e modelagem de dados, incluindo modelos dimensionais, fatos e dimensões.
Experiência em ambientes de nuvem (AWS) com serviços como S3, Glue, Athena, Redshift.
Experiência com orquestração (Databricks Workflows, Airflow ou similares).
Conhecimento de Git, CI/CD e práticas de desenvolvimento de software.
Conceitos de qualidade, governança, segurança, observabilidade e linhagem de dados.
Capacidade de trabalhar com autonomia e tomar decisões técnicas.
Boa comunicação, organização e compartilhamento de conhecimento.

Responsibilities

Projetar, desenvolver, manter e evoluir pipelines de dados escaláveis utilizando Databricks.
Definir e evoluir a arquitetura de dados considerando escalabilidade, performance, disponibilidade e custos.
Desenvolver soluções de processamento e transformação de dados com PySpark, Python e SQL.
Construir e evoluir soluções com Delta Lake e arquitetura Lakehouse.
Desenvolver e otimizar ingestão, transformação e disponibilização de dados (batch e streaming).
Projetar modelos de dados analíticos para diferentes necessidades de consumo.
Analisar e otimizar performance de pipelines, consultas e recursos computacionais.
Implementar práticas de qualidade, observabilidade e confiabilidade dos pipelines.
Definir padrões de desenvolvimento, versionamento, testes, segurança e governança.
Trabalhar com Git e CI/CD promovendo automação no ciclo de desenvolvimento.
Investigar e solucionar problemas complexos de pipelines e integração de dados.
Colaborar com áreas de negócio para traduzir necessidades em soluções estáveis e escaláveis.
Apoiar decisões técnicas e evoluir arquitetura e padrões do time.
Compartilhar conhecimento e atuar como referência técnica.

Skills

Engenharia de Dados

Databricks

Delta Lake

Arquitetura Lakehouse

Nuvem AWS | S3/Glue/Athena/Redshift

Git | CI/CD

Governança de dados

Observabilidade de dados

Linhagem de dados

Comunicação

Education

Superior completo em Tecnologia, Engenharia, Ciência da Computação ou Estatística

Tools

Unity Catalog

Databricks SQL

Delta Live Tables/Lakeflow

Terraform

Job description

Olá, somos o Sírio-Libanês!

* Atenção, candidato! O Sírio-Libanês NÃO solicita dados pessoais (documentos, dados bancários) ou pagamentos por WhatsApp, telefone, e-mail ou redes sociais. Nosso único canal oficial para inscrições é o site do Hospital Sírio-Libanês, na seção 'Trabalhe Conosco'.

É uma Pessoa com Deficiência? Esta vaga também é para você!

Somos uma instituição de saúde centenária, que através da sua atuação em mais de 60 especialidades, tem como propósito levar vida plena e digna a um número cada vez maior de pessoas. A cada ano, contribuímos para a formação de profissionais da saúde e atendemos milhares de pacientes.

Nos orgulhamos do nosso caráter filantrópico, de um compromisso social genuíno e de sermos uma das melhores instituições de saúde do mundo reconhecida pela revista Newsweek (2023) além de sermos uma empresa TOP Employers, nos destacando entre as melhores instituições do mundo em práticas de Recursos Humanos.

Desta maneira, acreditamos que a diversidade é fator fundamental que molda a nossa cultura. Venha com a gente nessa jornada por mais inclusão, diversidade, equidade, representatividade e proporcionalidade.

Queremos você para fazer parte dessa história!

Nesta posição você será responsável pelo:

Projetar, desenvolver, manter e evoluir pipelines de dados robustos e escaláveis utilizando Databricks;
Atuar na definição e evolução da arquitetura de dados, considerando aspectos de escalabilidade, performance, disponibilidade, segurança e custos;
Desenvolver soluções de processamento e transformação de dados utilizando PySpark, Python e SQL;
Construir e evoluir soluções utilizando Delta Lake, arquitetura Lakehouse e recursos do ecossistema Databricks;
Desenvolver e otimizar processos de ingestão, transformação e disponibilização de dados, incluindo cargas batch e, quando aplicável, streaming;
Projetar e implementar modelos de dados analíticos, considerando diferentes necessidades de consumo e camadas de dados;
Analisar e otimizar performance de pipelines, consultas, jobs e recursos computacionais, buscando eficiência e controle de custos;
Implementar e evoluir práticas de qualidade, observabilidade, monitoramento e confiabilidade dos pipelines e produtos de dados;
Atuar na definição e aplicação de padrões de desenvolvimento, versionamento, testes, segurança, governança e documentação;
Trabalhar com Git e CI/CD, promovendo práticas de engenharia e automação no ciclo de desenvolvimento;
Investigar e solucionar problemas complexos relacionados a pipelines, processamento, integração e disponibilização de dados;
Atuar de forma próxima às áreas de negócio, traduzindo necessidades em soluções de dados sustentáveis e escaláveis;
Apoiar decisões técnicas e contribuir para a evolução da arquitetura e dos padrões utilizados pelo time;
Compartilhar conhecimento e atuar como referência técnica para profissionais menos experientes;
Identificar oportunidades de automação, simplificação e melhoria contínua dos processos e da plataforma de dados.

Para esta posição é essencial ter:

Ensino Superior Completo em Tecnologia, Engenharia, Ciência da Computação, Estatística ou áreas relacionadas;
Experiência sólida em Engenharia de Dados, atuando no desenvolvimento e evolução de pipelines e soluções de dados;
Experiência prática com Databricks e arquitetura Lakehouse;
Experiência com Delta Lake e processamento de grandes volumes de dados;
Conhecimento de arquitetura e modelagem de dados, incluindo modelos dimensionais, fatos e dimensões;
Experiência com ambientes de nuvem, preferencialmente AWS, incluindo serviços como S3, Glue, Athena, Redshift e/ou serviços relacionados;
Experiência com ferramentas de orquestração, como Databricks Workflows, Airflow ou similares;
Conhecimento de Git, CI/CD e práticas de desenvolvimento de software;
Conhecimento de conceitos de qualidade, governança, segurança, observabilidade e linhagem de dados;
Capacidade de analisar problemas complexos, identificar causas e propor soluções técnicas;
Capacidade de atuar com autonomia, tomar decisões técnicas e trabalhar em conjunto com diferentes áreas;
Boa comunicação, organização e capacidade de compartilhar conhecimento.