Azure Data Engineer: Data Factory Pipelines & SQL (Hybrid)
Shore
Porto
Hybrid
EUR 45,000 - 65,000
Full time
3 days ago
Be an early applicant
A complete application in a minute
Tailored resume and cover letter, ready to send.
Get past ATS filters
Benefits offered by this job
Regime de trabalho híbrido
Qualifications
Formação superior em Engenharia Informática, Ciências da Computação ou área semelhante.
Experiência profissional como Data Engineer ou função equivalente, com desenvolvimento e manutenção de soluções de integração e processamento de dados.
Experiência com bases de dados relacionais e domínio de SQL para consulta, manipulação e transformação de dados.
Experiência com ferramentas de ETL para criação e manutenção de pipelines de integração e processamento de dados.
Conhecimento de Azure Data Factory, Azure Databricks, Azure SQL, Azure Synapse, Python ou PySpark aplicados a pipelines de dados.
Conhecimentos da plataforma Microsoft Azure serão valorizados.
Responsibilities
Desenvolver e manter pipelines de dados e processos de ETL, assegurando a integração de informação proveniente de diferentes fontes.
Implementar soluções de transformação e processamento de dados com recurso a tecnologias Microsoft Azure.
Desenvolver e otimizar queries SQL para suportar a extração, transformação e disponibilização de dados.
Garantir a qualidade, consistência e disponibilidade dos dados.
Monitorizar os processos de integração e processamento de dados, identificando e resolvendo falhas e problemas de desempenho.
Colaborar com as equipas técnicas e de negócio para compreender os requisitos e implementar soluções adequadas.
Documentar os fluxos de dados e as soluções desenvolvidas.
Skills
SQL
ETL
Data integration
Data processing
Education
Engenharia Informática / Ciências da Computação
Tools
Azure Data Factory
Azure Databricks
Azure SQL
Azure Synapse
Python
PySpark
Job description
Principais Responsabilidades:
Desenvolver e manter pipelines de dados e processos de ETL, assegurando a integração de informação proveniente de diferentes fontes;
Implementar soluções de transformação e processamento de dados com recurso a tecnologias Microsoft Azure;
Desenvolver e otimizar queries SQL para suportar a extração, transformação e disponibilização de dados;
Garantir a qualidade, consistência e disponibilidade dos dados;
Monitorizar os processos de integração e processamento de dados, identificando e resolvendo falhas e problemas de desempenho;
Colaborar com as equipas técnicas e de negócio para compreender os requisitos e implementar soluções adequadas;
Documentar os fluxos de dados e as soluções desenvolvidas.
Requisitos Mínimos:
Formação superior em Engenharia Informática, Ciências da Computação ou área semelhante;
Experiência profissional como Data Engineer ou numa função equivalente, com participação no desenvolvimento e manutenção de soluções de integração e processamento de dados;
Experiência com bases de dados relacionais e domínio de SQL para consulta, manipulação e transformação de dados;
Experiência com ferramentas de ETL, incluindo a criação e manutenção de processos de extração, transformação e carregamento de dados provenientes de diferentes fontes;
Experiência com uma ou mais das seguintes tecnologias: Azure Data Factory, Azure Databricks, Azure SQL, Azure Synapse, Python ou PySpark, aplicadas à construção de pipelines e ao tratamento de dados;
Conhecimentos da plataforma Microsoft Azure e dos seus serviços de dados serão valorizados.