Engenheiro de Dados - Airflow/AWS

Stefanini Group; Brasil; Teletrabalho; BRL 120 000 - 180 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Vale-refeição/vale-alimentação

Acesso à Academy Stefanini

Mentoring corporativo

Assistência médica

Clube de vantagens e descontos

Resumo da oferta

O Stefanini Group busca um(a) Engenheiro(a) de Dados com sólida experiência em ambientes cloud e forte atuação com Apache Airflow para integrar um projeto estratégico de transformação da plataforma de dados. Você será responsável pela construção, evolução e sustentação de pipelines de dados escaláveis, em colaboração com equipes multidisciplinares.

O profissional atuará com Python, Spark e serviços AWS, garantindo governança, qualidade e observabilidade dos dados, além de colaborar na definição

Qualificações

• Experiência sólida com Apache Airflow (MWAA) para orquestração de pipelines de dados.
• Desenvolvimento em Python para construção e manutenção de processos ETL/ELT.
• Conhecimentos avançados em SQL Server.
• Experiência com Apache Spark para processamento de grandes volumes de dados.
• Vivência com serviços AWS, especialmente Redshift, S3, Glue e MWAA.
• Conhecimento em modelagem de dados para ambientes analíticos.
• Experiência com Data Warehouse, Data Lake e Lakehouse.
• Conhecimento em Arquitetura Medalhão (Bronze, Silver e Gold).
• Vivência com governança, qualidade e observabilidade de dados.
• Experiência em desenvolvimento, otimização e monitoramento de pipelines de dados.

Responsabilidades

• Desenvolver, manter e evoluir pipelines de dados utilizando Apache Airflow (MWAA).
• Construir processos de ingestão, transformação e disponibilização de dados (ETL/ELT).
• Desenvolver soluções utilizando Python, Spark e serviços AWS.
• Implementar e sustentar arquiteturas de dados em ambientes Data Lake, Lakehouse e Data Warehouse.
• Realizar modelagem de dados para atender demandas analíticas e de negócio.
• Garantir a qualidade, governança e observabilidade dos dados processados.
• Monitorar e otimizar o desempenho dos pipelines e processos de dados.
• Atuar em conjunto com equipes de negócio, analytics e tecnologia para evolução da plataforma de dados.
• Apoiar a definição de boas práticas, padrões e melhorias contínuas no ecossistema de dados.

Conhecimentos

Python

SQL

Data modeling

Data governance

Data observability

ETL/ELT design

Data pipelines

Ferramentas

Apache Airflow (MWAA)

Apache Spark

AWS (Redshift, S3, Glue)

SQL Server

Descrição da oferta de emprego

Job description

No Grupo Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.

Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!

Junte-se a nós e seja parte da mudança!

#LI-REMOTE

#LI-LV1

Main responsibilities

Buscamos um(a) Engenheiro(a) de Dados com sólida experiência em ambientes cloud e forte atuação com Apache Airflow para integrar um projeto estratégico de transformação e modernização da plataforma de dados. O profissional será responsável pela construção, evolução e sustentação de pipelines de dados escaláveis, atuando em conjunto com times multidisciplinares para garantir a disponibilidade, qualidade e governança das informações.

Atividades:

• Desenvolver, manter e evoluir pipelines de dados utilizando Apache Airflow (MWAA);
• Construir processos de ingestão, transformação e disponibilização de dados (ETL/ELT);
• Desenvolver soluções utilizando Python, Spark e serviços AWS;
• Implementar e sustentar arquiteturas de dados em ambientes Data Lake, Lakehouse e Data Warehouse;
• Realizar modelagem de dados para atender demandas analíticas e de negócio;
• Garantir a qualidade, governança e observabilidade dos dados processados;
• Monitorar e otimizar o desempenho dos pipelines e processos de dados;
• Atuar em conjunto com equipes de negócio, analytics e tecnologia para evolução da plataforma de dados;
• Apoiar a definição de boas práticas, padrões e melhorias contínuas no ecossistema de dados.

Requirements and skills

Requisitos:

• Experiência sólida com Apache Airflow (MWAA) para orquestração de pipelines de dados;
• Desenvolvimento em Python para construção e manutenção de processos ETL/ELT;
• Conhecimentos avançados em SQL Server;
• Experiência com Apache Spark para processamento de grandes volumes de dados;
• Vivência com serviços AWS, especialmente Redshift, S3, Glue e MWAA;
• Conhecimento em modelagem de dados para ambientes analíticos;
• Experiência com Data Warehouse, Data Lake e Lakehouse;
• Conhecimento em Arquitetura Medalhão (Bronze, Silver e Gold);
• Vivência com governança, qualidade e observabilidade de dados;
• Experiência em desenvolvimento, otimização e monitoramento de pipelines de dados.

Additional information

Modelo de Contratação: CLT Stefanini

Modelo de Atuação: 100% Remoto

• Vale-alimentação ou vale-refeição;
• Desconto em cursos, universidades e instituições de idiomas;
• Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado;
• Mentoring;
• Clube de vantagens para consultas e exames;
• Assistência médica;
• Assistência odontológica;
• Clube de vantagens e descontos nos melhores estabelecimentos;
• Clube de viagens;
• Convênio para pets.