Engenheiro de Dados

Jobtailor; Florianópolis; Presencial; BRL 180 000 - 240 000; Tempo integral

Resumo da oferta

Jobtailor procura um engenheiro de dados para manter e evoluir uma infraestrutura em nuvem (GCP) e sustentar pipelines de ingestão por APIs/Webhooks, usando Python. O profissional irá orquestrar fluxos com Airflow, transformar dados com DBT e modelar em um Lakehouse com Iceberg/Parquet, integrando novas fontes para BI (Power BI).

Experiência prática com Data Lakehouse em nuvem e domínio de SQL/DBT são requisitos, com foco em padrões modernos de dados e colaboração com equipes de analytics.

Qualificações

• Experiência prática com arquitetura Data Lakehouse em nuvem (GCP, AWS ou Azure).
• Experiência com Cloud Computing, preferencialmente GCP (BigQuery, Cloud Functions, Pub/Sub).
• Domínio de Python para scripts de conexão com APIs, ingestão e automação.
• Experiência com orquestradores de dados (Apache Airflow).
• Vivência sólida com SQL e transformação de dados utilizando DBT.
• Conhecimento em modelagem dimensional e na Modern Data Stack (Iceberg, Parquet ou Delta Tables).
• Familiaridade com Docker (para serviços em VMs) e versionamento de código (Git).

Responsabilidades

• Assumir a manutenção e evolução da infraestrutura ponta a ponta na nuvem (GCP).
• Desenvolver e sustentar pipelines de ingestão de dados via APIs e Webhooks (utilizando Python).
• Orquestrar rotinas e processamentos de dados utilizando Apache Airflow.
• Realizar a transformação e modelagem de dados do bronze ao ouro utilizando DBT (Data Build Tool).
• Trabalhar com padrões modernos de Lakehouse, gerenciando dados em formatos abertos (Iceberg/Parquet).
• Integrar fontes de dados logísticas e de marketing no futuro.
• Colaborar com analistas e liderança para garantir que os dados alimentem nossas ferramentas de BI (Power BI).

Conhecimentos

Cloud Computing

Data Lakehouse Architecture

Python Scripting

Apache Airflow

DBT Data Build Tool

Ferramentas

GCP

BigQuery

Cloud Functions

Pub/Sub

Power BI

Apache Iceberg

Parquet

Docker

Git

Descrição da oferta de emprego

• Assumir a manutenção e evolução da infraestrutura ponta a ponta na nuvem (GCP).
• Desenvolver e sustentar pipelines de ingestão de dados via APIs e Webhooks (utilizando Python).
• Orquestrar rotinas e processamentos de dados utilizando Apache Airflow.
• Realizar a transformação e modelagem de dados do bronze ao ouro utilizando DBT (Data Build Tool), focando em modelagem dimensional.
• Trabalhar com padrões modernos de Lakehouse, gerenciando dados em formatos abertos (Apache Iceberg / Parquet).
• Integrar ativamente novas fontes de dados logísticas e de marketing no futuro.
• Colaborar com analistas e liderança para garantir que os dados alimentem nossas ferramentas de BI (Power BI) com precisão e confiabilidade.

Requirements

• Experiência prática obrigatória com arquitetura Data Lakehouse em nuvem (GCP, AWS ou Azure).
• Experiência prática com Cloud Computing, preferencialmente Google Cloud Platform (GCP - BigQuery, Cloud Functions, Pub/Sub).
• Domínio de Python para scripts de conexão com APIs, ingestão e automação.
• Experiência com orquestradores de dados (Apache Airflow).
• Vivência sólida com SQL e transformação de dados utilizando DBT.
• Conhecimento em modelagem dimensional e na Modern Data Stack (experiência com Apache Iceberg, Parquet ou Delta Tables).
• Familiaridade com Docker (para serviços em VMs) e versionamento de código (Git).

Core Competencies

Demonstrates expertise in managing and evolving cloud infrastructure, particularly in Google Cloud Platform (GCP), while developing data ingestion pipelines and ensuring data integrity for business intelligence tools. Proficient in data transformation and modeling using modern methodologies and tools.

Highest-signal resume keywords

• Cloud Computing
• Data Lakehouse Architecture
• Python Scripting
• Apache Airflow
• DBT (Data Build Tool)

ATS Optimization Keywords

Hard Skills

• Data Transformation
• SQL
• Dimensional Modeling
• APIs
• Webhooks
• Data Ingestion
• Data Processing
• Data Modeling
• Docker
• Version Control (Git)

Industry Keywords

• Modern Data Stack
• Data Lakehouse
• Data Integration
• Business Intelligence

Tools & Technologies

• Google Cloud Platform (GCP)
• BigQuery
• Cloud Functions
• Pub/Sub
• Power BI
• Apache Iceberg
• Parquet