Data Engineer Pleno

vagas.sc; Porto Alegre; Presencial; BRL 111 600 - 167 400; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em dados procura um engenheiro de dados para construir e manter infraestrutura que transforma dados brutos em valor de negócio. O candidato ideal deve ter mais de 3 anos de experiência, domínio em Python e boa compreensão de SQL e dbt. A função é remota, com responsabilidades que envolvem projetar pipelines de dados e implementar soluções de qualidade de dados. A empresa oferece um ambiente de trabalho colaborativo e dinâmico.

Qualificações

• 3+ anos de experiência em engenharia de dados, com histórico de entrega de projetos de ETL/ELT.
• Domínio de Python para processamento de dados.
• Experiência com dbt ou forte desejo de aprender.

Responsabilidades

• Projetar e desenvolver pipelines de ingestão e transformação de dados utilizando Python.
• Implementar parsers para extração automatizada de dados de relatórios de inspeção.
• Desenvolver e manter modelos dbt seguindo padrões de nomenclatura.

Conhecimentos

Python

Engenharia de dados

SQL

dbt

AWS

Ferramentas

Pandas

SQLAlchemy

PostgreSQL

Descrição da oferta de emprego

Descrição

O time de engenharia de dados da EvcomX é responsável por construir e manter toda a infraestrutura que permite aos nossos cientistas de dados e clientes transformarem dados brutos em valor de negócio. Trabalhamos com arquitetura medallion em ambientes Databricks, processando grandes volumes de dados industriais e garantindo que pipelines críticas de produção operem com alta disponibilidade. Nossos engenheiros de dados atuam próximos aos cientistas de dados, apoiando desde a experimentação até a operacionalização de modelos em produção, incluindo pipelines de inferência em near-real-time que impactam diretamente as operações dos nossos clientes.

Responsabilidades e atribuições

• Projetar e desenvolver pipelines de ingestão e transformação de dados utilizando Python, dbt e AWS (Step Functions, ECS Fargate, S3, RDS PostgreSQL);
• Implementar parsers para extração automatizada de dados de relatórios de inspeção (Excel, PDF);
• Desenvolver e manter modelos dbt seguindo padrões de nomenclatura e testes obrigatórios;
• Colaborar na definição e evolução da arquitetura de dados, incluindo modelagem dimensional e design de tabelas fato/dimensão;
• Implementar soluções de data quality e validação de dados com Pydantic;
• Participar de decisões técnicas sobre extração de dados de PDFs (AWS Textract vs soluções open source como Camelot, PaddleOCR;
• Documentar padrões técnicos, guidelines e boas práticas para o time de dados.

Requisitos e qualificações

• 3+ anos de experiência em engenharia de dados, com histórico de entrega de projetos de ETL/ELT;
• Domínio de Python para processamento de dados (Pandas, SQLAlchemy);
• Experiência com dbt (data build tool) ou forte desejo de aprender;
• Conhecimento de arquiteturas de Data Lake/Data Warehouse e padrões como medallion;
• Experiência com SQL e modelagem de dados relacional (PostgreSQL);
• Familiaridade com AWS (S3, RDS).

Modelo de trabalho

Remoto