Engenheiro De Dados

Netvagas; São José dos Campos; On-site; BRL 180,000 - 240,000; Full time

Job summary

A Netvagas está buscando um Engenheiro de Dados para projetar, construir e manter pipelines de dados robustos na AWS, integrando dados de APIs, SFTP, arquivos e bancos de dados. O profissional gerenciará dados no AWS S3, IAM e monitorará a performance de pipelines automatizados.

É essencial experiência com catalogação de dados (Amundsen/Glue Catalog) e pipelines de ETL com CI/CD, além de conhecimento de modelos OLTP/OLAP e Data Lake/Delta Tables.

Qualifications

• Experiência comprovada em construir pipelines de dados desde fontes diversas (API, SFTP, arquivos, bancos de dados)
• Conhecimento de AWS e serviços de dados (S3, IAM, Glue, Lambda, Step Functions, Athena, Redshift)
• Experiência com catalogação de dados (Amundsen, Glue Catalog) e pipelines de ETL com CI/CD

Responsibilities

• Desenvolver e sustentar pipelines de Dados de várias origens na Nuvem AWS
• Gerenciar dados armazenados e estruturá-los com AWS S3 e IAM
• Monitorar desempenho e estabilidade dos pipelines; realizar modificações conforme necessário
• Coletar e integrar dados de ambientes diferentes; atuar como referência técnica
• Acompanhar planos de ação da equipe para entregar valor e qualidade
• Construir e manter catálogos de dados

Skills

Pipelines de dados

CI/CD

BigData

Programação

Tools

AWS

S3

IAM

Glue

Lambda

Step Functions

Athena

Redshift

DynamoDB

Delta Tables

Amundsen

Glue Catalog

Job description

A missão
O Engenheiro de Dados é o responsável pela criação do pipeline que transforma os dados brutos, que estão nos mais variados formatos, desde bancos de dados transacionais até arquivos de texto, em um formato que permita que os dados possam ser consultados e analisados. Também é tarefa do Engenheiro de Dados, manter este pipeline em execução, para que os dados possam ser coletados no momento certo, com o nível de segurança exigido pela empresa.

O seu desafio será

• Desenvolver e sustentar pipelines de Dados de diversas origens (API, SFTP, Arquivos, Bancos de Dados Relacionais e Não Relacionais) em Nuvem (AWS).
• Gerenciar os dados armazenados e estruturá-los adequadamente por meio do AWS S3 e IAM.
• Monitorar o desempenho geral e a estabilidade dos pipelines de dados automatizados, bem como fazer as modificações necessárias, de acordo com os requisitos;
• Coletar e integrar dados de diferentes ambientes a partir de fontes estruturadas e não estruturadas; ser referência técnica;
• Acompanhar os resultados dos planos de ação da equipe, assegurando entregas de valor e qualidade, a partir dos objetivos organizacionais;
• Construir e manter os catálogos de dados;

Antes de tudo, você precisa se identificar com nosso propósito que é valorizar as pessoas para que cada um amplie suas possibilidades e construa a sua história.
Além disso, é interessante que você tenha

• Possuir conhecimento proficiente nas linguagens e tecnologias de ponta em Banco de Dados (Modelo OLTP, OLAP, DataLake, Wharehouse e BigData);
• Habilidades de programação para desenvolver, personalizar e gerenciar ferramentas de integração, bancos de dados, warehouses e sistemas analíticos. (DMS, Glue, AWS Lambda, Step Function, Crawler, Athena, Redshift, S3, Dynamo, Delta Tables);
• Experiência com ferramentas para catalogação de dados, como Amundsen e Glue Catalog;
• Experiência com pipeline de código de ETLs(CI/CD);
• Vasta experiência atuando como engenheiro de dados.

Criar um alerta de emprego para esta pesquisa

Engenheiro de Dados • SAO JOSE DOS CAMPOS, SP, BR