Mid Data Engineer

ília; Brasil; Teletrabalho; BRL 50.000 - 90.000; Tempo integral

Resumo da oferta

Uma empresa inovadora e apaixonada por tecnologia busca um Engenheiro de Dados Pleno para construir um robusto data lake. O profissional será responsável por desenvolver pipelines de dados e implementar soluções de IA para otimizar resultados de negócios. Com um ambiente flexível e remoto, a empresa oferece um pacote de benefícios atraente, incluindo plano de saúde, auxílio home-office e oportunidades de desenvolvimento profissional. Se você é apaixonado por dados e deseja impactar positivamente a transformação digital, esta é a sua chance de brilhar!

Serviços

Plano de Saúde e Odontológico

Vale Alimentação/Refeição

Auxílio Home-Office

Cursos na ília University

Escola de idiomas

Programa de premiação por indicação

Qualificações

• Experiência em projetos de Data Lake ou Lakehouse.
• Forte compreensão de arquitetura Medallion e modelagem dimensional.

Responsabilidades

• Desenvolver e manter pipelines de dados eficientes para processamento em lote e streaming.
• Colaborar com equipes para alinhar soluções de dados com objetivos de negócios.

Conhecimentos

Python

SQL

Engenharia de Dados

Análise de Dados

Orquestração de Pipeline

AWS

GCP

Azure

CI/CD

Infraestrutura como Código

Formação académica

Graduação em Ciência da Computação ou áreas relacionadas

Ferramentas

Apache Airflow

AWS Glue

AWS S3

AWS Athena

Terraform

CloudFormation

AWS Quick Sight

Looker Studio

Descrição da oferta de emprego

Aqui na ília, nossas vagas estão sempre abertas para todas as pessoas e não se restringem quanto a gênero, etnia, orientação sexual, fatores sociais, condições físicas ou intelectuais (PCD), etc. Incentivamos a candidatura de integrantes de todos os grupos minoritários!

Sobre a ília

Somos especialistas em tecnologia, dados e design, impulsionando a transformação digital de grandes players do mercado há mais de 10 anos, nos setores financeiro, seguros e mobilidade. Com mais de 450 profissionais, estamos presentes no Brasil e na Europa, atendendo aos mercados da América Latina, Europa e América do Norte, desenvolvendo produtos digitais de alta qualidade e focados em resultados de negócios. Somos uma equipe inovadora, criativa e apaixonada por tecnologia.

Certificada pelo 5° ano consecutivo como Great Place to Work, acreditamos que pessoas mudam o mundo e investimos nelas. Nossas entregas incríveis são feitas por pessoas para pessoas, afinal, pessoas incríveis fazem entregas incríveis!

Sobre a vaga:

Procuramos um Engenheiro de Dados nível Pleno para integrar nossa equipe, com o objetivo de construir um data lake robusto, integrado de forma transparente com as fontes de dados da empresa, complementado por visualizações avançadas de dados e aplicações impulsionadas por IA, visando melhorar os resultados de negócios e a eficiência operacional.

Responsabilidades e atribuições:

1. Desenvolvimento e orquestração de pipeline:
   • Projetar, construir e manter pipelines de dados eficientes para processamento em lote e streaming.
   • Implementar fluxos de trabalho de orquestração de pipeline usando ferramentas modernas para garantir confiabilidade e escalabilidade.
   • Contribuir para o desenvolvimento e otimização de uma arquitetura Lakehouse, incluindo princípios da arquitetura Medallion (camadas bronze, prata, ouro).
   • Lidar com processos de integração, transformação e armazenamento de dados.
2. Armazenamento e otimização de dados:
   • Gerenciar formatos de dados estruturados e semiestruturados, como Parquet, CSV e JSON.
   • Garantir desempenho ideal para consulta e armazenamento de dados.
3. Colaboração e governança de dados:
   • Colaborar com equipes multifuncionais para alinhar soluções de dados com objetivos de negócios.
   • Garantir adesão às melhores práticas de governança, segurança e conformidade de dados.
4. Requisitos:
   • Inglês e/ou espanhol avançado.
   • Sólida compreensão dos principais conceitos de engenharia de dados: arquitetura Medallion, modelagem dimensional, processamento de dados em lote vs. streaming e orquestração de pipeline.
   • Proficiência em Python e SQL para processamento e desenvolvimento de dados.
   • Experiência em projetar e manter pipelines de dados em ambientes de nuvem (AWS, GCP ou Azure).
   • Familiaridade com ferramentas de orquestração de fluxo de trabalho de dados (ex: Apache Airflow, Prefect, Step Functions).
   • Fortes habilidades analíticas e de resolução de problemas.
   • Experiência prática com serviços AWS como Glue, S3 e Athena.
   • Conhecimento de ferramentas de BI e visualização de dados, como AWS Quick Sight, Looker Studio.
   • Familiaridade com práticas de CI/CD e Infraestrutura como Código (ex: Terraform, CloudFormation).
   • Experiência com projetos de Data Lake ou Lakehouse.
   • Explorar oportunidades para integrar soluções de IA generativas, usando AWS Bedrock para aprimorar fluxos de trabalho de dados e análises.
   • Aplique técnicas de engenharia rápida para personalizar soluções orientadas por IA para casos de uso específicos.
   • Pesquisar e contribuir para interações com plataformas de IA do GCP e Azure em estratégias futuras.

Benefícios e incentivos:

Nossa contratação é CLT, 40h semanais, com jornada flexível, de forma remota. Os benefícios da ília visam proporcionar uma experiência incrível para cada ílian. Abaixo, alguns benefícios resumidos:

Para saúde e bem-estar:

• Plano de Saúde e Odontológico SulAmérica, extensivo a dependentes;
• Vale Alimentação/Refeição em cartão flexível PicPay benefícios;
• Auxílio Home-Office em cartão flexível PicPay benefícios;

Para seu desenvolvimento:

• ília University: Universidade Corporativa com mais de 20 mil cursos disponíveis;
• Language Academy: Escola de idiomas para ílians;
• í-talks e Chapter: Momentos de compartilhamento de práticas, estudos, projetos e ideias. Nos chapters, equipes com skills similares trocam experiências.

Benefícios adicionais:

• Plano de Saúde PET - Guapeco;
• Programa de premiação por indicação de novos funcionários - Seu Networking Vale Prêmio.

[Banco de Talentos] Pessoa Engenheira de Dados

Trabalho remoto, efetivo, São Paulo, SP, Brasil, há 22 horas

Outras vagas:

• Banco de Talentos: Engenheiro de Dados JR/PL/SR
• Analista de Dados Júnior
• Engenheiro de Dados
• Pessoa Engenheira de Dados (Sr/Especialista)