Engenheiro de dados

TWE; São Paulo; Sur place; BRL 140 000 - 210 000; Plein temps

Résumé du poste

A TWE está recrutando um(a) engenheiro(a) de dados para desenvolver pipelines ETL/ELT utilizando Azure Data Factory, Databricks e SSIS, escrevendo notebooks em PySpark, Python e SQL. O profissional vai estruturar fluxos de dados com a arquitetura Medalhão Bronze/Silver/Gold, conectando-se a SQL Server, Oracle e APIs REST.

Você irá construir e nutrir modelos de Data Warehouse, monitorar rotinas na nuvem (Azure/GCP) e atuar em um ambiente dinâmico com entregas ágeis, utilizando Jira para gerenciar

Qualifications

• Experiência prática com Microsoft Azure, especialmente Azure Databricks, Azure Data Factory, Azure Storage (ADLS Gen2), Azure SQL Database e Azure Key Vault.
• Conhecimento sólido em Python, PySpark e SQL.
• Familiaridade com bancos de dados relacionais (Oracle, SQL Server) e integração via APIs REST.

Responsabilités

• Desenvolver e orquestrar pipelines de dados (ETL/ELT) utilizando Azure Data Factory, SSIS e Databricks, escrevendo notebooks em PySpark, Python e SQL.
• Implementar e manter fluxos de dados seguindo a arquitetura Medalhão (Bronze/Silver/Gold).
• Conectar-se a fontes diversas (SQL Server, Oracle, APIs REST).
• Construir e popular modelos de Data Warehouse (Fato e Dimensão).
• Monitorar execuções na nuvem (Azure ou GCP) e corrigir falhas.
• Participar de ritos Ágeis, reportando impedimentos e gerenciando tarefas (ex.: Jira).

Connaissances

Python

PySpark

SQL

Azure Databricks

Azure Data Factory

APIs REST

Azure Storage ADLS Gen2

Azure SQL Database

Azure Key Vault

SQL Server

Oracle

Outils

Databricks

Azure Data Factory

Azure Storage

Azure SQL Database

Description du poste

Atividades

• Desenvolver e orquestrar pipelines de dados (ETL/ELT) utilizando Azure Data Factory, SSIS e Databricks, escrevendo notebooks em PySpark, Python e SQL.
• Implementar e manter fluxos de dados seguindo a arquitetura Medalhão, estruturando o fluxo de dados entre as camadas Bronze, Silver e Gold.
• Conectar-se a múltiplas fontes, incluindo SQL Server, Oracle e APIs REST.
• Construir e popular modelos de Data Warehouse (Tabelas de Fato e Dimensão).
• Monitorar execuções de rotinas na nuvem (Azure ou GCP), identificando, diagnosticando e corrigindo falhas em jobs e fluxos de dados.
• Participar ativamente dos ritos Ágeis, reportando impedimentos e gerenciando a evolução de suas tarefas diárias (ex: via Jira).

Requisitos

• Experiência prática com Microsoft Azure, especialmente nos seguintes serviços:
• Azure Databricks;
• Azure Data Factory;
• Azure Storage (ADLS Gen2);
• Azure SQL Database;
• Azure Key Vault.
• Conhecimento sólido em Python, PySpark e SQL.
• Familiaridade com bancos de dados relacionais (Oracle, SQL Server).
• Experiência com integração via APIs REST.
• Capacidade de trabalhar em um ambiente dinâmico, com diferentes demandas de infraestrutura e desenvolvimento.
• Perfil colaborativo, com boa comunicação e autonomia para propor soluções técnicas alinhadas às necessidades do negócio.

SSIS, SQL, GCP, modelagem medalhão, DW (dimensões e fatos).