Engenheiro De Dados

Grupo Fcamara; Belo Horizonte; On-site; BRL 180,000 - 300,000; Full time

Job summary

A FCamara procura um Engenheiro de Dados para atuar em projetos estratégicos de negócios, tecnologia e dados no setor bancário. Você desenvolverá pipelines de dados eficientes, escaláveis e seguros, interagindo com stakeholders para traduzir necessidades em soluções técnicas.

O papel envolve ETL/ELT, integração de fontes diversas, uso de AWS (Glue/Redshift/S3) e construção de arquiteturas de dados modernas, com foco na qualidade, governança e disponibilidade das informações.

Qualifications

• Experiência sólida em Python para processamento, manipulação e integração de dados.
• Conhecimento avançado em SQL, incluindo joins, procedures e otimização de queries.
• Experiência com bibliotecas Python para tratamento de dados (Pandas, PySpark).
• Integração de dados via APIs REST, JSON, CSV e formatos como Parquet.
• Experiência em ETL/ELT e em modelagem de dados relacional e dimensional.
• Conhecimento de Data Lake/Data Warehouse e governança de dados.

Responsibilities

• Projetar, desenvolver e manter pipelines de dados para extração, transformação e disponibilização.
• Desenvolver ETL/ELT com foco em eficiência, escalabilidade e qualidade dos dados.
• Integrar dados de fontes diversas, incluindo bancos relacionais, APIs e arquivos estruturados.
• Desenvolver scripts em Python e SQL para tratamento e transformação de dados.
• Construir soluções de processamento em ambientes AWS, preferencialmente AWS.
• Definir arquiteturas de dados (Data Lakes/Warehouses) e evoluir pipelines.

Skills

Python para processamento

SQL avançado

Pandas

PySpark

Comunicação com stakeholders

Tools

Apache Airflow

PySpark

Python

Pandas

Numpy

SQL

AWS Glue

Amazon Redshift

Amazon S3

Job description

JOB DESCRIPTION

Buscamos um(a) Engenheiro(a) de Dados para atuar em projetos estratégicos de negócios, tecnologia e dados de cliente do setor bancário, contribuindo para a construção, evolução e sustentação de soluções de integração, processamento e disponibilização de dados.

O profissional será responsável por desenvolver pipelines de dados eficientes, escaláveis e seguros, garantindo a qualidade, integridade e disponibilidade das informações utilizadas pelas diferentes áreas de negócio.

Além do conhecimento técnico, buscamos um profissional com perfil consultivo, boa comunicação e capacidade de interagir diretamente com stakeholders das áreas de negócio, compreendendo suas necessidades e traduzindo-as em soluções tecnológicas.

A atuação ocorrerá em um ambiente dinâmico, com grande volume de informações, arquitetura distribuída e utilização de tecnologias modernas, especialmente no ecossistema AWS.

RESPONSIBILITIES AND ASSIGNMENTS

• Projetar, desenvolver, implementar e manter pipelines de dados para extração, transformação, integração e disponibilização de informações.
• Desenvolver processos de ETL/ELT, garantindo eficiência, escalabilidade, rastreabilidade e qualidade dos dados.
• Atuar na integração de diferentes fontes de dados, incluindo bancos relacionais, APIs, arquivos estruturados e semiestruturados.
• Desenvolver scripts e aplicações utilizando Python e SQL, com foco em extração, tratamento, transformação e manipulação de dados.
• Construir e otimizar soluções de processamento de dados em ambientes cloud, preferencialmente AWS.
• Participar da definição e evolução de arquiteturas de dados, considerando Data Lakes, Data Warehouses e soluções analíticas.
• Implementar mecanismos de monitoramento, observabilidade e tratamento de falhas nos pipelines.
• Aplicar boas práticas de segurança, governança, qualidade e proteção de dados, considerando os requisitos do ambiente financeiro.
• Identificar oportunidades de automação e melhoria contínua nos processos de engenharia de dados.
• Realizar levantamento e análise de requisitos diretamente com áreas de negócio, compreendendo processos, necessidades e objetivos.
• Traduzir requisitos funcionais e necessidades de negócio em especificações técnicas e soluções de dados.
• Interagir com equipes de desenvolvimento, arquitetura, infraestrutura, segurança e analytics.
• Documentar soluções, fluxos de dados, regras de transformação e integrações desenvolvidas.
• Apoiar análises técnicas e funcionais para identificação de inconsistências e oportunidades de melhoria nos dados.

REQUIREMENTS AND QUALIFICATIONS

• Experiência sólida em desenvolvimento utilizando Python para processamento, manipulação e integração de dados.
• Conhecimento avançado em SQL, incluindo consultas complexas, joins, procedures e otimização de queries.
• Experiência com bibliotecas Python para tratamento e processamento de dados, como Pandas e PySpark.
• Experiência com integração de dados por meio de APIs REST, arquivos JSON, CSV e formatos como Parquet.
• Experiência na construção e manutenção de pipelines ETL/ELT.
• Conhecimento em modelagem de dados relacional e dimensional.
• Experiência com bancos de dados relacionais e soluções de armazenamento analítico.
• Conhecimento de arquiteturas Data Lake e Data Warehouse.
• Experiência com processamento de grandes volumes de dados.
• Conhecimento em mecanismos de orquestração e agendamento de pipelines.
• Familiaridade com conceitos de qualidade, catalogação, linhagem e governança de dados.
• Experiência no levantamento de requisitos funcionais e técnicos junto a usuários e áreas de negócio.
• Capacidade de compreender processos de negócio e identificar necessidades relacionadas ao consumo e tratamento de dados.
• Habilidade para transformar demandas de negócio em soluções técnicas estruturadas.
• Experiência na documentação de requisitos, regras de negócio e fluxos de integração.
• Capacidade de conduzir reuniões técnicas e funcionais com diferentes stakeholders.

Diferenciais técnicos

• Apache Airflow para orquestração de pipelines.
• PySpark para processamento distribuído e manipulação de grandes volumes de dados.
• Python aplicado a engenharia e ciência de dados.
• Pandas e Numpy para manipulação e análise de dados.
• SQL avançado para consultas, modelagem e otimização.
• Experiência com AWS Cloud, incluindo:
• AWS Glue (ETL/ELT)
• Amazon Redshift (data warehouse)
• Consultas em dados armazenados no Amazon S3
• Experiência com modelagem dimensional (fatos, dimensões, modelo estrela).
• Vivência com pipelines de dados e boas práticas de governança.

Desejáveis

• Experiência no setor financeiro
• Familiaridade com ferramentas de visualização (Power BI, Tableau, Looker).
• Conhecimento de versionamento (Git) e boas práticas de desenvolvimento.
• Noções de qualidade e catalogação de dados (Data Quality, Data Catalog).

Transformamos mundos sonhados em trajetórias reais.

Aqui somos #SangueLaranja!

Estamos há 17 anos no mercado, lado a lado com nossos clientes, proporcionando experiências transformadoras.

Somos um ecossistema de tecnologia e inovação, com expansão global; Além do Brasil estamos presentes na Europa e Reino Unido com escritórios em Portugal, Londres, Dubai e Holanda.

F de Formação: acreditamos na prática da cultura do compartilhamento, no senso de comunidade, e que o conhecimento

tem o poder da transformação!

Possuímos iniciativas, e ações sociais, que promovem o desenvolvimento, como a comunidade tech Orange Juice, o Programa de Formação,

nossa escola de liderança e diversas parcerias com ONGs e Edtechs.

Na FCamara todos são bem-vindos, para nós, Diversidade, Respeito e Ética, são elementos inegociáveis e fazem parte do nosso DNA.

E aí, está pronto para fazer parte de um time incrível e ser protagonista da própria história?