Senior GCP Data Engineer: BigQuery, ETL & Airflow

Smart Consulting; Porto; Presencial; EUR 40 000 - 65 000; Tempo integral

Resumo da oferta

A Smart Consulting, empresa de referência em IT e Telecomunicações, procura engenheiro(a) de dados para integrar um projeto internacional de transformação tecnológica na banca. Junte-se a uma equipa dinâmica e participe ativamente na entrega de soluções em cloud.

Valorizamos experiência em GCP, BigQuery, ETL/ELT, Cloud Composer (Airflow), SQL e Python, desenho de modelos de dados, migração SQL Server para BigQuery, qualidade de dados e colaboração com equipas multidisciplinares.

Qualificações

• Experiência sólida em Google Cloud Platform (GCP).
• Experiência em BigQuery, incluindo desenho de schemas, desenvolvimento de queries SQL complexas, otimização de performance e gestão de custos.
• Experiência na criação, desenvolvimento e manutenção de pipelines ETL/ELT em ambientes Cloud.
• Conhecimentos de Cloud Composer (Apache Airflow), incluindo criação, agendamento, monitorização e troubleshooting de DAGs.
• Domínio de SQL, com capacidade para otimizar queries e adaptar soluções de SQL Server para BigQuery.
• Experiência em Python para automação, transformação de dados e integração com serviços GCP.
• Experiência em migração de bases de dados de SQL Server para Google Cloud Platform.
• Capacidade para desenvolver modelos de dados otimizados para BigQuery.
• Experiência na implementação de processos que garantam a qualidade e integridade dos dados.
• Capacidade de análise, resolução de problemas e trabalho em equipa.
• Conhecimentos de SQL Server (T-SQL, arquitetura e administração básica).
• Experiência com Cloud Storage, Dataflow e Database Migration Service.
• Conhecimentos de Power BI.
• Experiência em Data Warehousing e modelação de dados (Data Vault).
• Experiência com ferramentas de versionamento de código (Git).
• Boas práticas de desenvolvimento, testes e code review.
• Inglês nível B2 obrigatório; francês valorizado.

Responsabilidades

• Contribuir para a conceção e implementação de soluções em Google Cloud Platform.
• Projetar e otimizar pipelines de dados (ETL/ELT) e modelos de dados para BigQuery.
• Trabalhar na migração de bases de dados de SQL Server para GCP e na integração de serviços GCP.
• Colaborar com equipas multidisciplinares para garantir qualidade e eficiência.
• Garantir qualidade e integridade dos dados através de processos de validação.

Conhecimentos

GCP

BigQuery

ETL/ELT

Airflow

SQL

Python

SQL Server

Data Warehousing

Data Vault

Power BI

Git

Data Engineering

Inglês B2

Francês valorizado

Ferramentas

Cloud Composer

Data Migration Service

Descrição da oferta de emprego

A Smart Consulting, empresa de referência em IT e Telecomunicações, procura engenheiro(a) de dados para integrar um projeto internacional de transformação tecnológica na banca. Junte-se a uma equipa dinâmica e participe ativamente na entrega de soluções em cloud.

Valorizamos experiência em GCP, BigQuery, ETL/ELT, Cloud Composer (Airflow), SQL e Python, desenho de modelos de dados, migração SQL Server para BigQuery, qualidade de dados e colaboração com equipas multidisciplinares.