Engenheiro de Dados

H&W Publishing; Brasil; Presencial; BRL 115 000 - 173 000; Tempo parcial

Resumo da oferta

H&W Publishing procura um Engenheiro de Dados Sênior para projetar, construir e evoluir nossa plataforma de dados, garantindo escalabilidade, qualidade e disponibilidade. O profissional trabalhará com microsserviços em AWS e bancos PostgreSQL/MySQL, buscando dados confiáveis para dashboards e insights operacionais.

A posição é 100% remoto, com regime PJ (prestador de serviço) e remuneração em USD. O objetivo é evoluir a arquitetura para uma Data Platform moderna com suporte a ML no futuro.

Qualificações

• Linguagens: Python e SQL avançado.
• Banco de Dados: PostgreSQL e MySQL com modelagem relacional, índices, particionamento e replicação.
• Modelagem de Dados: Data Warehouse, Data Lake, Star/Snowflake Schema, Data Mart, normalização e desnormalização.
• ETL/ELT: pipelines, APIs, transformação, carga incremental e CDC.
• Processamento: batch, streaming, arquitetura orientada a eventos.
• AWS: S3, Lambda, SQS, RDS, CloudWatch, IAM.
• Versionamento: Git e GitHub.
• Observabilidade: logs, métricas, monitoramento de pipelines e alertas.
• Automação: GitHub Actions.
• Containers: Docker.
• Engenharia de Dados: Data Quality, Data Lineage, Data Catalog, Data Governance, versionamento de dados, orquestração de pipelines e histórico de dados.

Responsabilidades

• Projetar, construir e evoluir a arquitetura da plataforma de dados.
• Desenvolver pipelines ETL/ELT e CDC; extrair APIs, transformar e carregar dados.
• Modelar dados para Data Warehouse, Data Lake e Data Marts.
• Implementar processamento batch e streaming com arquitetura orientada a eventos.
• Assegurar performance e confiabilidade de bancos de dados; índices e particionamento.
• Estabelecer Data Quality, Data Lineage, Data Catalog e Data Governance.
• Orquestrar pipelines com versionamento e rastreabilidade.
• Observabilidade por logs, métricas e alertas em pipelines.
• Disponibilizar dados para dashboards e análises em tempo real.
• Preparar dados para futuras iniciativas de ML.
• Automatizar deploys com GitHub Actions e Docker.

Conhecimentos

Python

SQL

Data Modeling

ETL/ELT

Batch Processing

Streaming

Event-Driven

PostgreSQL

MySQL

Data Warehouse

Data Lake

Data Mart

S3

Lambda

SQS

CloudWatch

IAM

GitHub Actions

Docker

Airflow

Kubernetes

Ferramentas

Kafka

RabbitMQ

Apache Airflow

Prefect

Metabase

Power BI

Looker Studio

Kubernetes

Descrição da oferta de emprego

Função: Engenheiro(a) de Dados Sênior

Modelo de Trabalho: 100% home office

Regime de Contratação: Prestador de Serviço (PJ)

Pagamento: USD 2,500.00

Sobre a empresa

A HW Publishing é uma holding sediada nos Estados Unidos, especializada em marketing de resposta direta e afiliados, com forte atuação no mercado de nutracêuticos.

Fundada por profissionais renomados do marketing digital, a HW se consolidou rapidamente como referência global no setor. Em seu primeiro ano, alcançou a liderança na América Latina e, no primeiro trimestre de 2025, tornou-se líder global no segmento.

Na HW, capacitamos nossos parceiros a se tornarem empreendedores digitais de sucesso em um ambiente colaborativo, profissional e orientado a resultado, reunindo alguns dos melhores talentos do mercado de marketing direto.

Sobre a posição

Buscamos um Engenheiro de Dados Sênior para projetar, construir e evoluir nossa plataforma de dados, garantindo escalabilidade, qualidade, confiabilidade e disponibilidade das informações usadas por produtos, operações e times de negócio.

Nosso ambiente é composto por microsserviços em AWS, processamento assíncrono com filas, bancos relacionais, Redis e aplicações orientadas a eventos. Hoje a plataforma gera milhões de registros de navegação/tracking, webhooks, pagamentos, afiliados, produtos, pedidos, logs, métricas operacionais e dados financeiros — processados via microsserviços em AWS com PostgreSQL, Redis, Amazon SQS e Lambda.

O objetivo é evoluir essa arquitetura para uma plataforma de dados moderna, capaz de fornecer informações confiáveis em tempo real para dashboards, análises operacionais, inteligência de negócio e futuras iniciativas de Machine Learning.

Principais Atribuições

• Projetar, construir e evoluir a arquitetura da plataforma de dados da empresa.
• Desenvolver e manter pipelines de ETL/ELT, incluindo extração de APIs, transformações, carga incremental e CDC (Change Data Capture).
• Modelar dados para Data Warehouse, Data Lake e Data Marts, aplicando modelagem dimensional (Star Schema, Snowflake Schema).
• Implementar processamento em batch e streaming, com arquitetura orientada a eventos e processamento assíncrono.
• Garantir performance e confiabilidade dos bancos de dados: modelagem relacional, índices, particionamento, otimização de consultas e replicação.
• Estruturar práticas de Data Quality, Data Lineage, Data Catalog e Data Governance.
• Orquestrar pipelines e tratar dados históricos com versionamento e rastreabilidade.
• Implementar observabilidade dos pipelines: logs, métricas, monitoramento e alertas.
• Disponibilizar dados confiáveis e em tempo real para dashboards, análises operacionais e inteligência de negócio.
• Preparar a base de dados para futuras iniciativas de Machine Learning.
• Automatizar processos e deploys com GitHub Actions e Docker.
• Trabalhar em conjunto com times de produto, engenharia e negócio na definição de requisitos e indicadores.

Requisitos

• Linguagens: Python e SQL avançado.
• Banco de Dados: PostgreSQL e MySQL; modelagem relacional, índices, particionamento, otimização de consultas, replicação e performance.
• Modelagem de Dados: Data Warehouse, Data Lake, Star Schema, Snowflake Schema, Data Mart, modelagem dimensional, normalização e desnormalização.
• ETL / ELT: construção de pipelines, extração de APIs, transformação de dados, incremental load e CDC (Change Data Capture).
• Processamento de Dados: batch processing, streaming, processamento assíncrono e Event-Driven Architecture.
• AWS: S3, Lambda, SQS, RDS, CloudWatch e IAM.
• Mensageria: Amazon SQS.
• Versionamento: Git e GitHub.
• Observabilidade: logs, métricas, monitoramento de pipelines e alertas.
• Automação: GitHub Actions.
• Containers: Docker.
• Engenharia de Dados: Data Quality, Data Lineage, Data Catalog, Data Governance, versionamento de dados, orquestração de pipelines e tratamento de dados históricos.

Diferenciais

• Linguagens: TypeScript e Node.js.
• AWS Analytics: Glue, Athena, EMR, Kinesis e Redshift.
• Mensageria: Kafka e RabbitMQ.
• Orquestração/Automação: Apache Airflow e Prefect.
• Visualização de Dados: Metabase, Power BI e Looker Studio.
• Containers: Kubernetes.
• Experiências relevantes: fintechs ou empresas de pagamentos, grandes volumes de eventos, plataformas de analytics em tempo real, Machine Learning Pipelines, Feature Store, Data Lakehouse, Apache Spark e Apache Iceberg ou Delta Lake.