Engenheiro de Dados

CRP Tech; Brasil; Remote; BRL 180,000 - 240,000; Full time

Benefits offered by this job

Acesso a cursos de aperfeiçoamento

Remoto nacional

Job summary

A CRP Tech está recrutando Engenheiro(a) de Dados para atuar no design, construção e manutenção de pipelines ETL/ELT robustos, com ingestão de múltiplas fontes e entrega em produção. O candidato participará de toda a cadeia, desde ingestão até disponibilização de dados para BI e analytics.

Você trabalhará com Data Lake/Data Lakehouse, Parquet, MinIO, SQL complexo e orquestração no Airflow, além de integração com ferramentas de IA para produtividade.

Qualifications

• Formação superior na área de TI ou certificação equivalente com 360h MEC.
• Experiência mínima de 3 anos como Engenheiro(a) de Dados ou 2 anos com entrega ponta a ponta em produção.
• Experiência com ETL/ELT em pipelines de dados, desempenho e confiabilidade.
• Portfólio com projetos de dados (GitHub, projetos pessoais ou OSS).

Responsibilities

• Projetar, desenvolver e manter pipelines ETL/ELT escaláveis.
• Criar pacotes Python internos (wheels) para padronizar transformações.
• Modelar camadas do Data Lakehouse com Parquet em MinIO.
• Publicar dados em bancos relacionais e não relacionais e garantir governança.
• Orquestrar fluxos no Airflow e gerenciar dependências e falhas.

Skills

Python para engenharia de dados

SQL avançado

ETL/ELT pipelines

Airflow

Docker

Kubernetes

DevOps/CI-CD

Git versionamento

Observabilidade/Quality de dados

Integração com IA/Tools de IA

Education

Graduação em TI

Pós-graduação em TI (mínimo 360h MEC)

Tools

PostgreSQL

SQL Server

MySQL

Oracle

MongoDB

Parquet/MinIO

Dremio/Trino/Athena

Dockerfiles

Kubernetes

Airflow

Job description

Deseja trabalhar em uma empresa que respira tecnologia, oferece novos desafios e um ambiente de trabalho de constante desenvolvimento profissional? Confira o perfil abaixo e candidate-se!

Formação

Diploma, devidamente registrado, de curso de nível superior de graduação na área de Tecnologia da Informação (Ciência da Computação, Engenharia de Software, Sistemas de Informação, Engenharia da Computação ou correlatos) ou de graduação em qualquer área acrescido de certificado de pós-graduação em área de Tecnologia da Informação de, no mínimo, 360 (trezentos e sessenta) horas, fornecido por instituição reconhecida pelo Ministério da Educação (MEC).

Experiência

• Experiência mínima comprovada de 03 (três) anos atuando como Engenheiro(a) de Dados (ou no mínimo 02 anos em nível pleno, com entrega ponta a ponta de pipelines em produção).
• Experiência comprovada na construção e sustentação de pipelines ETL/ELT em produção, do design à operação.
• Vivência com volumes relevantes de dados (batch e/ou incremental) e com reprocessamento seguro.
• Desejável portfólio (GitHub, projetos pessoais ou contribuições open source) que demonstre a habilidade de resolver problemas reais de dados.

Conhecimentos Técnicos

• Sólida proficiência em Python para engenharia de dados (boas práticas, OOP, organização de código, tratamento de erros, testes).
• Experiência na criação e empacotamento de bibliotecas Python próprias (wheels), promovendo reuso, padronização e versionamento de código entre pipelines.
• Domínio de SQL avançado (consultas, joins, CTEs, window functions, tuning) e modelagem de dados (normalizada e dimensional).
• Experiência com ETL/ELT, incluindo ingestão de múltiplas fontes e carga em bancos de dados relacionais (PostgreSQL, SQL Server, MySQL, Oracle ou similares) e não relacionais (MongoDB e afins).
• Experiência com armazenamento em arquivos Parquet e conceitos de Data Lake / Data Lakehouse (camadas Bronze/Silver/Gold ou Medallion).
• Experiência com orquestração de pipelines no Apache Airflow (criação de DAGs, agendamento, dependências, retentativas e tratamento de falhas).
• Experiência prática com Docker (build de imagens, Dockerfiles, ambientes reproduzíveis) e operação em Kubernetes (deploy, jobs, configmaps/secrets, monitoramento de workloads).
• Familiaridade com MinIO (armazenamento de objetos compatível com S3) como camada de Data Lake.
• Conhecimento no uso de Dremio (ou motor de consulta equivalente como Trino/Athena) como camada semântica/consulta sobre o Data Lake.
• Experiência com Git/versionamento e práticas de CI/CD aplicadas a projetos de dados.
• Sólido entendimento de qualidade de dados, observabilidade e monitoramento de pipelines (validação, alertas, métricas, reprocessamento).
• Conhecimentos em intetração de ferramentas de IA para alta produtividade. (Harness).

Conhecimentos Desejáveis/Diferenciais

Não esperamos que você já domine tudo isso, mas buscamos alguém com grande interesse em se aprofundar:

• Apache Iceberg (ou Delta Lake/Hudi) como formato de tabela aberta sobre o Data Lake.
• dbt para modelagem e transformação de dados na camada analítica.
• Orquestração e automação avançadas: Helm, Argo CD, GitHub Actions/GitLab CI para deploy em múltiplos clusters Kubernetes.
• Nessie (catálogo com branching/tagging) e gestão de múltiplos ambientes (dev/test/prod).
• Streaming e ingestão em tempo real: Apache Kafka (modo KRaft), Debezium/CDC.Processamento distribuído em larga escala: Apache Spark / PySpark.
• Ferramentas de qualidade e catálogo de dados: Great Expectations, Soda, OpenMetadata, DataHub, OpenLineage.
• Observabilidade: Prometheus, Grafana e OpenTelemetry aplicados a workloads de dados.
• Stack de frontend/BI para visualização (Streamlit, Dash, React, Power BI, Apache Superset ou similares) e experiência na construção de dashboards e APIs de consumo.
• Infraestrutura como código: Terraform / Ansible.
• Conhecimentos de MLOps / IA aplicada (feature stores, pipelines para IA, LLMs) como apoio às frentes de dados e analytics avançado.
• Experiência em ambientes on-premise/híbridos e em plataformas de dados corporativas.
• Inglês técnico para leitura de documentação.

Softskills

• Proatividade: Você não espera por tarefas, você as cria. Tem autonomia para pesquisar, propor caminhos e resolver problemas.
• Comunicação Clara: Sabe traduzir "techniquês" em valor de negócio e vice-versa.
• Paixão por Resolver Problemas: Vê um desafio complexo (dado fora de padrão, pipeline quebrado, gargalo de performance) como oportunidade de aprender e inovar.
• Colaboração: Entende que o melhor resultado vem do trabalho em equipe, compartilhando conhecimento e ajudando os colegas de BI, Analytics e IA.
• Adaptabilidade: Lida bem com o dinamismo e as incertezas de um projeto em evolução, inclusive com stack de dashboard ainda em definição.
• Espírito de Equipe: Gosta de colaborar, ensinar e aprender com os colegas de time.

Atividades e Responsabilidades

• Projetar, desenvolver e manter pipelines de ETL/ELT escaláveis, confiáveis e de alta performance, cobrindo ingestão, transformação e carga.
• Criar e evoluir pacotes Python internos (wheels) que padronizem transformações e acelerem a entrega de novos pipelines.
• Modelar e construir as camadas do Data Lakehouse (arquivos Parquet no MinIO, consistência, particionamento, compactação e evolução de schema/contratos de dados).
• Disponibilizar dados em bancos de dados relacionais e não relacionais, garantindo performance, integridade e governança.
• Orquestrar fluxos de dados no Apache Airflow, incluindo agendamento, dependências, retentativas e tratamento de falhas.
• Publicar e operar pipelines e serviços em containers Docker sobre Kubernetes, contribuindo para as esteiras de CI/CD e o deploy automatizado.
• Expor dados para consumo analítico via Dremio, otimizando consultas e a experiência dos usuários de BI.
• Apoiar a camada de visualização/frontend e a construção de dashboards (stack a ser definida) junto ao time, garantindo que o dado chegue tratado e pronto para o negócio.
• Implementar rotinas de controle de qualidade, monitoramento e observabilidade dos dados e pipelines, atuando em incidentes e reprocessamentos.
• Garantir governança, segurança, versionamento e rastreabilidade (linhagem) dos dados, seguindo boas práticas e requisitos de LGPD.
• Colaborar com Arquitetos, Analistas de Dados/BI, Cientistas de Dados e áreas de negócio para traduzir necessidades em soluções de engenharia de dados.
• Documentar fluxos, arquiteturas, regras de negócio e modelos de dados, promovendo melhoria contínua e boas práticas.
• Participar de cerimônias ágeis (Scrum/Kanban) e de revisões técnicas com o time.

Informações sobre o Contrato de Trabalho

• Remuneração: A combinar
• Carga Horária: 40h semanais - Segunda a Sexta - das 08:00 às 12:00 e das 14:00 às 18:00.
• Benefícios: Acesso à cursos em plataformas de ensino.
• Modelo de atuação: Remoto

Diversidade e Inclusão

Acreditamos que a pluralidade torna nosso time mais forte. Por isso, nossos processos seletivos são pautados pelo respeito, pela equidade e pela valorização das pessoas. Valorizamos a inclusão para promover oportunidades a todas as pessoas, abraçando a pluralidade de raças, identidades de gênero, origens, orientações e Pessoas com Deficiência PcD. Aqui, cada pessoa tem espaço para ser quem é, desenvolver seu talento, entregar com excelência e fazer a diferença.

Vem construir história com a gente!