Cloud Data Engineer (M/F) - Lisboa

iU Talent; Lisboa; Hybrid; EUR 42,000 - 65,000; Full time

Benefits offered by this job

Modelo híbrido

Horário flexível

Equipamentos de última geração

Cultura colaborativa

Coverflex

Subsídio de alimentação

Job summary

Na iU Talent procuramos um Cloud Data Engineer (M/F) com forte experiência em desenvolvimento e gestão de plataformas de dados em cloud. O foco está na construção de pipelines de dados, com domínio de Python e SQL, valorizando AWS, Snowflake e DBT Core.

O papel envolve desenvolvimento de pipelines de elevada performance, monitorização, governança de dados e otimização de queries. O modelo de trabalho é híbrido, com subsídio de alimentação e benefícios técnicos, visando impacto real nos projetos.

Qualifications

• Experiência comprovada em pipelines de dados e plataformas cloud.
• Conhecimentos sólidos de AWS (S3, ECS, Lambda, RDS, SNS/SQS, IAM e CloudWatch).
• Domínio de SQL para bases analíticas e capacidade de escrever queries complexas.
• Conhecimentos de Python e bibliotecas (Pandas, Boto3).
• Conhecimentos de arquitetura de plataformas de dados e Data Governance.

Responsibilities

• Desenvolver pipelines de dados em ambientes cloud, transformando dados de várias fontes (APIs, FTP, SFTP) em estruturas analíticas.
• Projetar pipelines de alto desempenho, com processamento batch e streaming.
• Implementar monitorização e alertas para qualidade e funcionamento dos fluxos de dados.
• Gerir conjuntos de dados de grande dimensão, assegurando requisitos funcionais e técnicos.
• Contribuir para Data Governance através de metadata, catalogação e documentação.
• Implementar testes funcionais e não funcionais para assegurar consistência e qualidade dos dados.
• Analisar e otimizar queries SQL para melhorar performance, eficiência e escalabilidade.

Skills

SQL

Python

Pandas

Boto3

Data governance

DBT Core

AWS

Data pipelines

ETL concepts

Tools

AWS S3

AWS Lambda

Snowflake

DBT Core

Airflow

Prefect

GitHub

GitLab

Tableau

Terraform

CloudFormation

AWS Step Functions

Job description

Na iU Talent, acreditamos que o verdadeiro sucesso nasce da combinação perfeita entre pessoas felizes, talento genuíno, compromisso inabalável e o poder da tecnologia.

Neste momento procuramos um Cloud Data Engineer (M/F) com experiência sólida no desenvolvimento e gestão de plataformas de dados em cloud, construção de pipelines de dados e domínio de Python e SQL.

Valoriza-se conhecimentos de AWS, Snowflake e DBT, mas existe flexibilidade para considerar profissionais com experiência noutras tecnologias e plataformas, como Azure, Databricks, Redshift ou soluções equivalentes.

Responsabilidades:

• Desenvolver e implementar pipelines de dados em ambientes cloud, assegurando a transformação de informação proveniente de diferentes fontes, como APIs, FTP e SFTP, em estruturas organizadas e preparadas para análise;
• Conceber e implementar pipelines de elevada performance, tanto em processamento batch como em streaming;
• Desenvolver mecanismos de monitorização e alertas que permitam acompanhar a qualidade e o funcionamento dos fluxos de dados;
• Preparar, organizar e gerir conjuntos de dados de grande dimensão e complexidade, garantindo o cumprimento dos requisitos funcionais e técnicos do negócio;
• Contribuir para iniciativas de Data Governance, através da documentação, catalogação e gestão de metadados;
• Implementar testes funcionais e não funcionais para assegurar a consistência, fiabilidade e qualidade dos dados;
• Analisar e otimizar queries SQL, tendo em vista a melhoria da performance, eficiência e escalabilidade das soluções.

Requisitos:

Obrigatórios:

• Experiência comprovada no desenvolvimento de pipelines de dados e utilização de tecnologias cloud, nomeadamente AWS (S3, ECS, Lambda, RDS, SNS/SQS, IAM e CloudWatch);
• Experiência sólida em programação SQL, particularmente em contextos de bases de dados analíticas;
• Capacidade de desenvolver queries SQL complexas. Conhecimentos de DBT Core serão valorizados;
• Bons conhecimentos de Python e de bibliotecas utilizadas no processamento e manipulação de dados, como Pandas e Boto3;
• Conhecimentos sólidos de arquitetura de plataformas de dados e princípios de Data Governance;

Competências e conhecimentos valorizados:

• Experiência com Snowflake;
• Conhecimentos e aplicação de práticas de CI/CD;
• Experiência com ferramentas de orquestração de workflows, como AWS Step Functions, Airflow ou Prefect;
• Familiaridade com sistemas de controlo de versões, nomeadamente GitHub ou GitLab;
• Conhecimentos de ferramentas de visualização de dados, como Tableau;
• Experiência com ferramentas de Infrastructure as Code, como CloudFormation ou Terraform;
• Certificações AWS (por exemplo, Solutions Architect ou equivalente);
• Certificação Snowflake, nomeadamente SnowPro Core.

Benefícios:

• Modelo híbrido (2 dias por semana no escritório);
• Horário flexível;
• Ambiente tecnológico moderno e orientado para boas práticas de engenharia;
• Equipamentos de última geração;
• Cultura colaborativa, com foco em partilha de conhecimento, inovação e melhoria contínua;
• Possibilidade de contribuir para decisões técnicas e ter impacto real nos projetos.;
• Remuneração base mensal + Coverflex
• Subsídio de alimentação: 9,60€ / dia

É obrigatório possuir autorização de trabalho válida em Portugal.