Engenheiro de Dados

DM; São José dos Campos; On-site; BRL 140,000 - 230,000; Full time

Job summary

A DM procura Engenheiro de Dados para criar pipelines que transformem dados brutos de diversas fontes (API, SFTP, arquivos, bancos relacionais e não relacionais) em formatos prontos para consulta e análise, mantendo-os em produção com segurança.

Você gerenciará dados com AWS S3, IAM, monitorará desempenho e estabilidade, integrará dados de ambientes distintos e participará da construção de catálogos de dados; experiência com CI/CD para ETLs é desejável.

Qualifications

• Conhecimento profundo em bancos de dados e data warehousing.
• Experiência com pipelines de dados, ETLs e ferramentas de integração.
• Familiaridade com modelos de arquivo (JSON, PARQUET, AVRO, ORC).
• Experiência com ferramentas de catalogação como Amundsen/Glue Catalog.
• Experiência com CI/CD para pipelines de dados.

Responsibilities

• Desenvolver e manter pipelines de dados de várias origens na AWS.
• Gerenciar dados com S3 e IAM, assegurando segurança e organização.
• Monitorar desempenho e estabilidade dos pipelines demais requisitos.
• Coletar e integrar dados estruturados e não estruturados como referência técnica.
• Construir e manter catálogos de dados da empresa.

Skills

Banco de Dados OLTP/OLAP

Data Lake

Big Data

Programação para ETL

CI/CD de ETLs

Catalogação de dados

Tools

AWS S3

IAM

AWS Lambda

Step Functions

Glue

Athena

Redshift

S3

DynamoDB

Delta Tables

Job description

A missão

O Engenheiro de Dados é o responsável pela criação do pipeline que transforma os dados brutos, que estão nos mais variados formatos, desde bancos de dados transacionais até arquivos de texto, em um formato que permita que os dados possam ser consultados e analisados. Também é tarefa do Engenheiro de Dados, manter este pipeline em execução, para que os dados possam ser coletados no momento certo, com o nível de segurança exigido pela empresa.

A missão

O Engenheiro de Dados é o responsável pela criação do pipeline que transforma os dados brutos, que estão nos mais variados formatos, desde bancos de dados transacionais até arquivos de texto, em um formato que permita que os dados possam ser consultados e analisados. Também é tarefa do Engenheiro de Dados, manter este pipeline em execução, para que os dados possam ser coletados no momento certo, com o nível de segurança exigido pela empresa.

O seu desafio será

• Desenvolver e sustentar pipelines de Dados de diversas origens (API, SFTP, Arquivos, Bancos de Dados Relacionais e Não Relacionais) em Nuvem (AWS).


• Gerenciar os dados armazenados e estruturá-los adequadamente por meio do AWS S3 e IAM.


• Monitorar o desempenho geral e a estabilidade dos pipelines de dados automatizados, bem como fazer as modificações necessárias, de acordo com os requisitos;


• Coletar e integrar dados de diferentes ambientes a partir de fontes estruturadas e não estruturadas; ser referência técnica;


• Acompanhar os resultados dos planos de ação da equipe, assegurando entregas de valor e qualidade, a partir dos objetivos organizacionais;


• Construir e manter os catálogos de dados;

Antes de tudo, você precisa se identificar com nosso propósito que é valorizar as pessoas para que cada um amplie suas possibilidades e construa a sua história.

Além disso, é interessante que você tenha

• Possuir conhecimento proficiente nas linguagens e tecnologias de ponta em Banco de Dados (Modelo OLTP, OLAP, DataLake, Wharehouse e BigData);


• Habilidades de programação para desenvolver, personalizar e gerenciar ferramentas de integração, bancos de dados, warehouses e sistemas analíticos. (DMS, Glue, AWS Lambda, Step Function, Crawler, Athena, Redshift, S3, Dynamo, Delta Tables);


• Ter conhecimento de modelos de arquivos como JSON, PARQUET, AVRO, ORC, etc;


• Experiência com ferramentas para catalogação de dados, como Amundsen e Glue Catalog;


• Experiência com pipeline de código de ETLs(CI/CD);


• Vasta experiência atuando como engenheiro de dados.