Engenheiro de Dados Databricks Sênior (Plataforma de Dados)

Engenheiro de Dados Databricks Sênior (Plataforma de Dados)

Workplace: São Paulo - SP

Nós movemos o mercado financeiro para o futuro, impulsionando negócios e potencializando a economia do país. Com o maior hub de dados e informações do cenário financeiro brasileiro, lideramos iniciativas que realmente importam: defendemos os interesses dos nossos parceiros e investidores, fornecemos ferramentas analíticas e dados, educamos investidores e certificamos profissionais, além de estabelecermos regras para as instituições do mercado financeiro e de capitais.

Estamos em busca de um Engenheiro Databricks Sênior. Nesta função, você será responsável por projetar, desenvolver e implementar pipelines e soluções de dados utilizando Databricks, Python, Pyspark, SQL, Terraform e serviços da AWS. Você terá um papel essencial na construção e manutenção de nossa infraestrutura de dados, garantindo que ela atenda às necessidades de negócios de maneira eficiente e eficaz.

1. Responsável pelo design, desenvolvimento e implementação de pipelines de dados de ponta a ponta utilizando Databricks para ETL, streaming e processamento em lote.
2. Implementar arquitetura data lake, data lakehouse e data warehouses no Databricks, assegurando escalabilidade, confiabilidade e desempenho.
3. Trabalhar em parceria com os stakeholders e outros membros da equipe para converter requisitos de negócios em especificações técnicas e soluções escaláveis.
4. Implementar processos e procedimentos para garantir qualidade, em termos de Governança de Dados, segurança e otimização no ambiente Databricks.
5. Aplique conhecimento técnico aprofundado para enfrentar desafios dos clientes e expandir oportunidades de negócios.
6. Gerencie projetos, garantindo que os marcos sejam atingidos dentro dos prazos e limites orçamentários estabelecidos.
7. Garantir automatização de processo seguro e robusto de CICD, para entrega de pipeline de dados.

Requisitos:

1. Experiência como Arquiteto de Soluções e Engenheiro de Dados, com foco em Databricks.
2. Mais de 4 anos de experiência na função de Engenharia de Dados Sr., com foco em Arquitetura baseada em cloud.
3. Forte experiência em projetar, construir e otimizar soluções de dados, usando Databricks, implementando pipeline, Airflow, Databricks - Workflow, Delta Lake, Unity Catalog, Spark, Python, SQL, etc.
4. Experiência em plataforma de nuvens, preferencialmente AWS, EC2, S3, Redshift, Tokens, integrando com Databricks.
5. Mais de 4 anos de experiência em Spark, Python, SQL, para manipulação de dados.
6. Experiência em versionamento de código, usando GitLab.
7. Experiência em implementar CICD, usando conceitos de GitFlow.
8. Experiência em implementar arquitetura de dados, usando Databricks e AWS, aplicando conceitos avançados de Data Lake, Data Lakehouse, Data Mesh, Data Sharing, RedShift, e integrações com ferramentas de dados, garantindo escalabilidade, segurança e confiabilidade.
9. Excelência na comunicação verbal e escrita é fundamental para esta posição.

Benefícios:

1. Salário Competitivo;
2. Vale Refeição R$ 1.111,00;
3. Vale Alimentação R$ 875,29;
4. Assistência Médica;
5. Assistência Odontológica;
6. Modelo de trabalho híbrido;
7. Previdência Privada;
8. Auxílio Home Office;
9. Licença Parental de 6 meses para todos os colaboradores da ANBIMA;
10. Auxílio Funeral;
11. Parcerias, Day Off de aniversário e muito mais...

Local de trabalho: Nosso escritório fica na região de Pinheiros próximo da estação de trem. Estamos trabalhando de forma híbrida, escritório (3x por semana) e home-office (2x por semana).

Muito prazer, somos a ANBIMA – Associação Brasileira das Entidades dos Mercados Financeiro e de Capitais. Falamos em nome de instituições como bancos, gestoras, corretoras, distribuidoras e administradoras. Temos a missão de fortalecer a representação do setor e apoiar a evolução de um mercado de capitais capaz de financiar o desenvolvimento econômico e social do Brasil e influenciar o mercado global.

Somos protagonistas da evolução da indústria de investimentos, trazendo impacto e legado positivos ao nosso país. Se você tem sede de aprender a impactar o desenvolvimento econômico e social do Brasil, a ANBIMA é para você!