Engenheiro de Dados Sênior / Especialista em MLOps

emagine Polska; Lisboa; Presencial; EUR 60 000 - 90 000; Tempo integral

Resumo da oferta

A emagine Polska busca um profissional técnico para ampliar a sua área de engenharia de dados, com foco em pipelines robustos, automação e operações de dados em ambiente de produção.

O candidato ideal terá experiência com GCP, BigQuery, CI/CD e arquitetura de dados Lakehouse/Data Lake, além de fluência em Inglês para comunicação técnica em equipes internacionais.

Qualificações

• Experiência consolidada em Engenharia de Dados ou Engenharia de Software focada em sistemas de dados de larga escala.
• Experiência prática no ecossistema cloud GCP, com foco especializado em BigQuery.
• Proficiência comprovada no desenho de pipelines automatizados de CI/CD utilizando GitHub Actions (ou ferramenta equivalente).
• Sólido entendimento de arquiteturas de dados modernas (Lakehouse, Data Lake) e suas convenções de camadas de dados.
• Proficiência em Inglês: B2 ou C1 para comunicação técnica internacional.

Responsabilidades

• Engenharia de Pipelines Complexos: desenvolver, monitorizar e automatizar pipelines de ingestão de dados (Batch e Streaming).
• Arquitetura e Convenções de Data Warehouse: desenhar armazenamentos no Google BigQuery, com personas de dados bem definidas e ambientes segregados.
• Automação e Infraestrutura (CI/CD): garantir o ciclo de vida do código e automação de deploy.
• Cultura de Engenharia de Software: promover repositórios modernos em Monorepo, facilitando a colaboração entre Data Science e Engenharia.

Conhecimentos

Engenharia de dados

Engenharia de software

BigQuery

GCP

GitHub Actions

CI/CD

Arquitetura de dados

Inglês B2/C1

Ferramentas

Kubernetes

Datadog

Grafana

Jira

Descrição da oferta de emprego

1. Contexto e Missão do Cargo

Estamos em processo de expansão da nossa estrutura de engenharia de dados e procuramos um profissional de perfil técnico, com foco em engenharia de dados avançada e sólidas fundações de DevOps e conhecimento de MLOps. Esta pessoa será responsável por desenhar, otimizar e manter a infraestrutura e os pipelines que sustentam os projetos de data locais, projetos de data science e as operações analíticas da empresa, servindo como uma ponte crítica entre o desenvolvimento de modelos e a produção em larga escala.

2. Principais Responsabilidades e Atividades

• Engenharia de Pipelines Complexos: Desenvolver, monitorizar e automatizar pipelines robustos de ingestão de dados (Batch e Streaming), lidando com cenários complexos como a integração avançada de APIs de fornecedores externos e web scraping de APIs aplicacionais.
• Arquitetura e Convenções de Data Warehouse: Desenhar e organizar o armazenamento de dados no Google BigQuery utilizando boas práticas de modelação. Garantir a correta transição e segregação lógica de ambientes, desde a receção de dados em bruto (Data Swamp / Data Lake) até às camadas otimizadas de disponibilização (Publish Layers).
• Automação e Infraestrutura (CI/CD): garantir o ciclo de vida do código e que as implementações sejam automatizadas.
• Cultura de Engenharia de Software: Contribuir para soluções altamente escaláveis, seguras e devidamente documentadas. Promover e estruturar repositórios modernos em ambiente Monorepo, facilitando a colaboração e a independência das equipas de Data Science.

3. Perfil Técnico e Requisitos do Candidato

Requisitos Mandatórios (Hard Skills)

• Experiência consolidada em Engenharia de Dados ou Engenharia de Software focada em sistemas de dados de larga escala.
• Experiência prática no ecossistema cloud GCP (Google Cloud Platform), com foco especializado em BigQuery.
• Proficiência comprovada no desenho de pipelines automatizados de CI/CD utilizando preferencialmente GitHub Actions (ou ferramentas equivalentes de mercado).
• Sólido entendimento de arquiteturas de dados modernas (Lakehouse, Data Lake) e suas respectivas convenções de camadas de dados.
• Proficiência em Inglês: Nível mínimo de conversação e escrita intermédio-avançado/fluente ( exemplo: B2 ou C1), para comunicação em ambientes técnicos e internacionais.

Requisitos Valorizados (Diferenciais)

• Experiência prática direta em conceitos e ferramentas de MLOps (gestão do ciclo de vida de modelos, serving de APIs de modelos, feature stores).
• Experiência no deployment de soluções em clusters orquestrados (Kubernetes), dependendo da necessidade arquitetural.
• Experiência com Observabilidade Usando Logging como Datadog ou Grafana
• Conhecimentos da metodologia SCRUM e de ferramentas como Jira.

4. Resumo da Stack Tecnológica Solicitada Categoria

Tecnologias / Conceitos Chave

Cloud & Storage

Google Cloud Platform (GCP), Google BigQuery

Infraestrutura & DevOps

Docker, Máquinas Virtuais (VMs)

CI/CD & Repositórios

GitHub Actions

SCRUM

Jira

Arquitetura de Dados

Data Swamp, Data Lake, Publish Layers, Convenções de DW

Idiomas

Inglês (B2 ou C1)