Data Engineer (GCP) – Real-Time & Batch Data Pipelines

KCS iT; Porto; Presencial; EUR 50 000 - 80 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Desenvolvimento de carreira

Contrato permanente

Formação e certificação contínuas

Salário competitivo com benefícios

Resumo da oferta

A KCS IT procura um Engenheiro de Dados com GCP para atuar em Porto, desenvolvendo pipelines de dados robustos, em equipa multidisciplinar, com foco em soluções de dados e IA. O profissional irá colaborar com Data Scientists e Analysts para desenhar e avaliar modelos, utilizando BigQuery, Spark e Hadoop.

A função envolve construção de código para processar grandes volumes de dados e monitorização de serviços na infraestrutura, com oportunidades de formação contínua e certificações internas.

Qualificações

• 4+ anos de experiência em GCP e em implementar serviços de dados escaláveis que processam grandes datasets.
• Conhecimento aprofundado em tecnologias de Big Data e armazenamentos de dados e linguagens como Scala/Java/Python para processamento.
• Experiência em analisar grandes volumes de dados com SQL, Spark, Python e Hive.
• Familiar com plataformas de workflow (Airflow) e ambientes colaborativos (Jupyter/Zeppelin).
• Conhecimento de YAML (serialização de dados).
• Azure e PowerBI são um plus.
• Experiência com metodologias ágeis (Scrum, Kanban).

Responsabilidades

• Projetar e implementar fluxos de processamento de dados em lote ou em tempo real, escaláveis e com uso eficiente de dados para funcionalidades orientadas por dados.
• Colaborar com Data Scientists e Analysts no design, implementação e avaliação de modelos e recursos orientados a dados.
• Utilizar GCP: BigQuery, Python, Scala e Hadoop (Spark/Hive) conforme necessidade.
• Desenvolver código para processar e analisar grandes volumes de dados (dados não estruturados, grandes conjuntos de texto, grafos, etc.).
• Construir, implantar, monitorizar e operar serviços, melhorando qualidade de dados e automatizando processos.

Conhecimentos

GCP

Big Data

Python

Scala

SQL

Ferramentas

Hadoop

Spark

Hive

Airflow

Descrição da oferta de emprego

A KCS IT procura um Engenheiro de Dados com GCP para atuar em Porto, desenvolvendo pipelines de dados robustos, em equipa multidisciplinar, com foco em soluções de dados e IA. O profissional irá colaborar com Data Scientists e Analysts para desenhar e avaliar modelos, utilizando BigQuery, Spark e Hadoop.

A função envolve construção de código para processar grandes volumes de dados e monitorização de serviços na infraestrutura, com oportunidades de formação contínua e certificações internas.