Tech Lead (Engenharia de Dados)

Ingram Micro, Inc.; São Paulo; Presencial; BRL 80.000 - 150.000; Tempo integral

Resumo da oferta

Uma empresa inovadora e líder no setor de tecnologia está em busca de um Tech Lead III em Engenharia de Dados. Este papel dinâmico envolve a criação e manutenção de pipelines de dados escaláveis, utilizando serviços da AWS, além de colaborar com equipes multidisciplinares para entender e resolver desafios de negócios. Se você é apaixonado por dados e deseja impactar projetos significativos em um ambiente colaborativo e estimulante, esta é a oportunidade perfeita para você. Venha fazer parte de uma equipe que valoriza o crescimento profissional e a inovação!

Qualificações

• Experiência em processos ETL e manipulação de grandes conjuntos de dados.
• Certificações AWS Certified Data Engineer e/ou AWS Certified Data Analytics – Specialty.

Responsabilidades

• Desenvolver e manter pipelines de dados eficientes utilizando serviços AWS.
• Colaborar com cientistas de dados para entender requisitos e entregar soluções.

Conhecimentos

AWS Glue

Amazon EMR

AWS Data Pipeline

Amazon S3

Amazon Redshift

AWS Lake Formation

AWS IAM

AWS KMS

Amazon Kinesis

AWS Lambda

Python

SQL

Airflow

Spark/PySpark/Trino

Formação académica

Ensino Superior Completo

Ferramentas

AWS

Pandas

Descrição da oferta de emprego

Pronto para levar sua carreira para o próximo nível?

A Ingram Micro atinge 80% de soluções tecnológicas que você usa todos os dias, com foco em nuvem e soluções de comércio e ciclo de vida.

Nos tornamos o maior distribuidor de tecnologia do mundo, com operações em 56 países e mais de 30.000 associados. Continuamos a expandir estrategicamente nosso alcance global.

Se você gosta de trabalhar em um ambiente dinâmico, colaborativo, receptivo e interessante onde você é estimulado a se desenvolver, então a Ingram Micro é perfeita para você!

Nossa área de Recursos Humanos está em busca de um(a) Tech Lead III - Engenharia de Dados.

Responsabilidades e atribuições

1. Ser membro de Squad multidisciplinar, focando suas atividades na área de engenharia de dados, compartilhando e absorvendo conhecimento junto às áreas de ciência de dados.
2. Participar de agendas técnicas com clientes para entender seus desafios de negócios e ajudar a alavancar novos projetos e oportunidades no campo de Engenharia de Dados.
3. Contribuir junto ao Squad na criação e execução de arquiteturas em nuvem que atendam os requisitos de negócio do cliente.
4. Prezar por entregas de qualidade.
5. Garantir por meio de monitoramento e métricas que todo o processo de ETL esteja funcionando.
6. Criar métodos e técnicas para melhorar a eficiência, a qualidade e a confiabilidade dos dados, implementar esses métodos.
7. Ter resiliência e espírito de equipe, contribuindo para construir e manter ambiente saudável e de parceria para o Squad e cliente.

Requisitos e qualificações

• Projetar, construir e manter pipelines de dados eficientes e escaláveis utilizando serviços AWS como AWS Glue, Amazon EMR, e AWS Data Pipeline.
• Implementar e gerenciar soluções de armazenamento de dados em grande escala com Amazon S3, Amazon Redshift, e AWS Lake Formation.
• Desenvolver processos de transformação e limpeza de dados utilizando AWS Glue e Amazon Athena para garantir a qualidade e integridade dos dados.
• Assegurar que as práticas de segurança e conformidade sejam rigorosamente seguidas, implementando controles de acesso e políticas de criptografia de dados com AWS IAM e AWS KMS.
• Desenvolver soluções de dados em tempo real utilizando Amazon Kinesis e AWS Lambda para suportar aplicações críticas e de alta disponibilidade.
• Monitorar e otimizar a performance dos processos de ingestão, processamento e consulta de dados, garantindo eficiência e redução de custos.
• Trabalhar em estreita colaboração com cientistas de dados, analistas e outros stakeholders para entender requisitos de dados e entregar soluções que atendam às necessidades do negócio, além de liderar e orientar equipes de engenharia de dados.

Informações adicionais

• Ensino Superior Completo em uma ou mais destas áreas: Ciência da computação, Estatística, Engenharias, Economia, Matemática, Áreas de exatas ou sociais aplicadas.
• Certificações: AWS Certified Data Engineer e/ou AWS Certified Data Analytics – Specialty.
• Ter experiência em processos ETL (Extract Transform and Load).
• Conhecimento avançado em linguagem de programação Python e biblioteca pandas (series e dataframes).
• Ter experiência na modelagem de Banco de Dados SQL.
• Ter proficiência na linguagem SQL para consultar e manipular dados.
• Ter experiência com airflow e outros orquestradores.
• Ter proficiência em manipular grandes conjuntos de dados com ferramentas de BigData como: Spark/PySpark/Trino.
• Ter experiência em ambientes data-driven.
• Conhecer as melhores práticas para construção de Data Lakes, Lake House e Data Warehouses em ambientes cloud.
• Ter experiência com serviços AWS.