Senior Data Engineer

QuickOps; Portugal; On-site; EUR 70,000 - 100,000; Full time

Job summary

A QuickOps procura um Senior Data Engineer para se juntar à equipa em Portugal. Procuramos alguém com visão proativa e capaz de enfrentar novos desafios, contribuindo para soluções de dados robustas e escaláveis.

Competências técnicas incluem SQL e Python em produção, experiência com plataformas cloud (AWS/GCP/Azure), orquestração com Airflow/Dagster/ADF, e conhecimentos em data warehousing (Snowflake/BigQuery) e pipelines com Spark, Databricks, Kafka ou equivalentemente.

Qualifications

• Conhecimento avançado de SQL e Python em ambientes de produção.
• Experiência com plataformas cloud (AWS, GCP ou Azure) e orquestração de dados (Airflow, Dagster, Azure Data Factory).
• Conhecimentos de Snowflake ou BigQuery e transformação com dbt ou similar.
• Experiência com Spark/PySpark, Databricks e com soluções de streaming (Kafka, Kinesis, Pub/Sub).
• Conhecimentos de pipelines de embeddings, bases de dados vetoriais, retrieval feeds, feature stores, Parquet/Iceberg/Delta.

Skills

SQL

Python

Comunicação

Tools

AWS

GCP

Azure

Airflow

Dagster

Azure Data Factory

Snowflake

BigQuery

dbt

Spark

PySpark

Databricks

Kafka

Kinesis

Pub/Sub

MQTT

Parquet

Iceberg

Delta

Terraform

Docker

Kubernetes

GitHub Actions

Great Expectations

Soda

Monte Carlo

MongoDB

Google Ads

Meta APIs

CRM APIs

Job description

Ref. AO5874

Estamos à procura de um Senior Data Engineer para se juntar à nossa equipa.

Se te consideras uma pessoa flexível e proativa e desejas enfrentar novos desafios profissionais, Estamos ansiosos por fazer parte do teu crescimento e certamente que iremos construir um futuro de sucesso juntos!

Competências técnicas:

• Linguagens de Programação: Conhecimentos avançados de SQL e Python, com experiência sólida em ambientes de produção
• Plataformas Cloud: Experiência aprofundada em ambiente de produção com pelo menos um dos principais fornecedores de serviços cloud (AWS, GCP ou Azure), acompanhada de um bom domínio dos princípios fundamentais que permitem trabalhar entre diferentes plataformas. A experiência numa segunda plataforma cloud constituye uma mais-valia
• Orquestração: Experiência em ambiente de produção com ferramentas de orquestração de dados de fornecedores de referência, como Airflow, Dagster, Azure Data Factory ou equivalentes
• Data Warehousing e Transformação (Valorizado): Conhecimentos aprofundados de Snowflake ou BigQuery, incluindo modelação dimensional ou Data Vault, bem como experiência com dbt ou frameworks equivalentes de transformação de dados
• Processamento e Streaming (Valorizado): Experiência com Spark ou PySpark em grande escala, Databricks e tecnologias de streaming e mensageria, como Kafka, Kinesis, Pub/Sub ou brokers da categoria MQTT
• Infraestrutura de Dados para IA e Formatos (Valorizado): Conhecimentos de pipelines de embeddings, bases de dados vetoriais (vector stores), feeds de recuperação de informação (retrieval feeds), feature stores e formatos abertos de tabelas e ficheiros, como Parquet, Iceberg e Delta
• DevOps e Qualidade de Dados (Valorizado): Experiência com Terraform, Docker, Kubernetes, GitHub Actions e frameworks de qualidade de dados em ambiente de produção, como Great Expectations, Soda ou Monte Carlo
• Sistemas de Origem de Dados (Valorizado): Conhecimentos de bases de dados NoSQL, como MongoDB, e experiência com dados provenientes de plataformas de marketing e publicidade, como Google Ads, Meta e APIs de plataformas CRM.

Competências pessoais:

• Boas capacidades de comunicação, pensamento inovador e atitude proativa
• Fortes capacidades analíticas e de resolução de problemas
• Capacidade de trabalhar em equipa

Ficaste interessado/a nesta oportunidade?