Mid Data Engineer

ília; Brasil; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

A ília está em busca de um engenheiro de dados para construir um data lake robusto e otimizar a arquitetura de dados. Este papel envolve o desenvolvimento de pipelines de dados, colaboração em projetos de IA e garantir a governança de dados. A posição oferece flexibilidade de trabalho remoto e um ambiente inovador focado no desenvolvimento contínuo dos profissionais.

Serviços

Plano de Saúde e Odontológico

Vale Alimentação/Refeição

Auxílio Home-Office

Cursos na ília University

Escola de idiomas

Qualificações

• Inglês e/ou Espanhol avançado.
• Sólida compreensão de engenharia de dados.
• Experiência em ambientes de nuvem (AWS, GCP ou Azure).

Responsabilidades

• Desenvolver e orquestrar pipelines de dados.
• Contribuir para a arquitetura Lakehouse.
• Gerenciar integração e armazenamento de dados.

Conhecimentos

Python

SQL

Engenharia de dados

Análise de dados

Ferramentas

AWS

Apache Airflow

Descrição da oferta de emprego

Aqui na ília, nossas vagas estão sempre abertas para todas as pessoas e não se restringem quanto a gênero, etnia, orientação sexual, fatores sociais, condições físicas ou intelectuais (PCD), etc. Incentivamos a candidatura de integrantes de todos os grupos minoritários!

Sobre a ília

Somos especialistas em tecnologia, dados e design, impulsionando a transformação digital de grandes players do mercado há mais de 10 anos, nos setores financeiro, seguros e mobilidade. Com mais de 450 profissionais, estamos presentes no Brasil e Europa, atendendo aos mercados da América Latina, Europa e América do Norte, desenvolvendo produtos digitais de alta qualidade e com foco em resultados de negócios. Somos uma equipe inovadora, criativa e apaixonada por tecnologia.

Certificada pelo 5° ano consecutivo como Great Place to Work, aqui na ília acreditamos que pessoas mudam o mundo e investimos nelas. Nossas entregas incríveis são feitas de pessoas para pessoas — afinal, pessoas incríveis criam entregas incríveis!

Sobre a vaga:

Construir um data lake robusto, integrado de forma transparente com as fontes de dados da empresa, complementado por visualizações avançadas de dados e aplicações impulsionadas por IA, projetadas para melhorar os resultados de negócios e a eficiência operacional.

Responsabilidades e Atribuições:

1. Desenvolvimento e orquestração de pipeline:
   • Projetar, construir e manter pipelines de dados eficientes para processamento de dados em lote e streaming.
   • Implementar fluxos de trabalho de orquestração de pipeline usando ferramentas modernas para garantir confiabilidade e escalabilidade.
2. Contribuir para o desenvolvimento e otimização de uma arquitetura Lakehouse, incluindo princípios da Arquitetura Medallion (camadas bronze, prata, ouro).
3. Lidar com processos de integração, transformação e armazenamento de dados.
4. Armazenamento e otimização de dados:
   • Gerenciar formatos de dados estruturados e semiestruturados, como Parquet, CSV e JSON.
   • Garantir o desempenho ideal para consulta e armazenamento de dados.
5. Colaboração e governança de dados:
   • Colaborar com equipes multifuncionais para alinhar soluções de dados com objetivos de negócios.
   • Garantir a adesão às melhores práticas de governança, segurança e conformidade de dados.

Requisitos:

• Inglês e/ou Espanhol avançado.
• Sólida compreensão dos principais conceitos de engenharia de dados: arquitetura Medallion, modelagem dimensional, processamento de dados em lote vs. streaming e orquestração de pipeline.
• Proficiência em Python e SQL para processamento e desenvolvimento de dados.
• Experiência em projetar e manter pipelines de dados em ambientes de nuvem (AWS, GCP ou Azure).
• Familiaridade com ferramentas de orquestração de fluxo de trabalho de dados (por exemplo, Apache Airflow, Prefect, Step Functions).
• Fortes habilidades analíticas e de resolução de problemas.

Diferenciais:

• Experiência prática com serviços da AWS como Glue, S3 e Athena.
• Conhecimento de ferramentas de BI e visualização de dados, como AWS Quick Sight, Looker Studio.
• Familiaridade com práticas de CI/CD e Infraestrutura como Código (por exemplo, Terraform, CloudFormation).
• Experiência com projetos de Data Lake ou Lakehouse.
• Exploração de oportunidades para integrar soluções de IA generativas, particularmente usando AWS Bedrock, para aprimorar fluxos de trabalho de dados e análises.
• Aprimoramento de soluções orientadas por IA para casos de uso específicos.
• Pesquisa e contribuição para estratégias futuras envolvendo plataformas de IA do GCP e Azure.

Benefícios e Incentivos:

Nossa contratação é CLT, 40h semanais, com jornada flexível, de forma remota. Os benefícios da ília são pensados para proporcionar uma experiência incrível para cada ílian. Abaixo, um resumo:

Para Saúde e Bem-estar:

• Plano de Saúde e Odontológico SulAmérica, extensivo a dependentes;
• Vale Alimentação/Refeição em cartão flexível PicPay benefícios;
• Auxílio Home-Office em cartão flexível PicPay benefícios;

Para o Seu Desenvolvimento:

• ília University: Universidade Corporativa com mais de 20 mil cursos disponíveis;
• Language Academy: Escola de idiomas para ílians;
• í-talks e Chapter: momentos de compartilhamento de práticas, estudos, projetos e ideias, além de grupos de skills similares.

Benefícios adicionais:

• Plano de Saúde PET - Guapeco;
• BYOD: aluguel de notebook pessoal com pagamento mensal, ou uso de máquinas fornecidas pela empresa;
• Programa de indicação de novos funcionários: Seu Networking Vale Prêmio.

Candidatar-se a esta vaga

Campos obrigatórios: envio de currículo em PDF, DOC, DOCX, TXT ou RTF; link do perfil no LinkedIn; informações sobre grupos de diversidade; avaliação do nível de inglês e espanhol; pretensão salarial; autorização para uso de dados pessoais conforme LGPD.