Engenheiro de Dados - Pleno (Databricks/Python/PySpark)

QiBit; São Paulo; Presencial; BRL 120 000 - 180 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Plano médico Unimed

Vale-refeição/alimentação

Auxílio creche

Licença maternidade 6 meses

Licença paternidade 20 dias

Seguro de vida em grupo

Previdência privada

Bolsa idiomas

Estacionamento - Eldorado

Resumo da oferta

A QiBit está buscando Engenheiro de Dados Pleno para atuar com Databricks, Python e PySpark, desenvolvendo pipelines de ingestão a partir de APIs REST, scraping e arquivos. Você modelará as camadas Bronze/Silver/Gold com medallion architecture, criará dashboards em Power BI e validará dados com dbt.

Requisitos incluem graduação em área de computação, experiência com Databricks/Spark, Azure Data Factory, SQL e Git/CI/CD. Vantagens: inglês e conhecimento de segurança de dados.

Qualificações

• Formação superior em área de computação ou equivalente.
• Experiência em engenharia de dados com Python/PySpark e SQL.
• Prática com Databricks (ou Spark) e Azure Data Factory.
• Conhecimento de dbt é desejável.
• Controle de versão (Git) e pipelines CI/CD para dados.
• Integração de dados via API REST.
• Boas práticas de visualização e storytelling com dados.
• Experiência com fontes diversas (SQL, APIs, arquivos).
• Conhecimento em segurança de dados, incluindo Row Level Security.

Responsabilidades

• Apoiar e implantar pipelines de ingestão a partir de APIs REST, scraping e arquivos.
• Modelar camadas Bronze, Silver e Gold seguindo medallion architecture.
• Construir dashboards e relatórios em Power BI a partir da camada de dados.
• Aplicar dbt para testes de qualidade de dados e transformações declarativas.
• Suportar configuração de recursos de self-service analytics e resolver problemas de performance.

Conhecimentos

Python

PySpark

SQL

Databricks

Azure Data Factory

dbt

Git

CI/CD

REST API

Power BI

Visualização de dados

Formação académica

Graduação superior em Ciência da Computação/Engenharia da Computação/Análise de Sistemas

Ferramentas

Databricks

dbt

Azure Data Factory

Descrição da oferta de emprego

Engenheiro de Dados - Pleno (Databricks/Python/PySpark)

Modelo de Contratação: CLT

Responsabilidades e atribuições:

• Apoiar e implantar pipelines de ingestão a partir de fontes heterogêneas: APIs REST, scraping web, procedures SQL de sistemas legados e arquivos;
• Apoiar a implementação de mecanismos de réplica somente leitura para sistemas que não oferecem acesso direto ao banco (ex.: ERPs legados), com atenção ao impacto de performance nos sistemas de origem.Implementar transformações de dados em Azure Databricks / Fabric Spark usando PySpark e SQL;
• Modelar e manter as camadas Bronze, Silver e Gold seguindo o padrão medallion architecture;
• Implementar pipelines de scraping resilientes, com mecanismos de detecção de mudança de layout e tratamento de bloqueio;
• Construir dashboards e relatórios em Power BI a partir da camada de dados estruturada;
• Implementar testes de qualidade de dados e transformações declarativas usando dbt;
• Apoiar a configuração de recursos de self-service analytics (ex.: Fabric Copilot);
• Diagnosticar e resolver problemas de performance em pipelines e consultas;
• Realizar testes de aceitação com usuários finais e ajustar dashboards a partir do feedback.

Requisitos e qualificações

• Formação superior completa em Ciência da Computação, Engenharia da Computação, Análise de Sistemas, ou equivalente;
• Experiência em engenharia de dados, domínio de Python/PySpark e SQL;
• Experiência prática com Databricks (ou Spark em geral) e ferramentas de orquestração como Azure Data Factory;
• Experiência com dbt é desejável;
• Conhecimento de práticas de controle de versão (Git) e CI/CD para pipelines de dados;
• Experiência com integração de dados via API REST;
• Conhecimento de boas práticas de visualização de dados e storytelling com dados;
• Experiência com fontes de dados diversas (SQL, APIs, arquivos, Lakehouse/Warehouse);
• Experiência implementando segurança em nível de linha (Row Level Security);
• Disponibilidade para viagens para cidade de São Paulo é um diferencial;
• Inglês avançado é diferencial.
• Convenio médico (Unimed)
• Vale-Refeição/Vale alimentação – R$ 1.650,00
• Auxilio Creche –Benefício concedido por até 03 anos / Concessão para crianças com até 06 anos
• Licença Paternidade – 20 dias/ Licença Maternidade – 6 meses
• Seguro de Vida em Grupo
• Previdência Privada (mensal) – Contribuição de acordo com a idade -% Percentual do salário de participação
• Bolsa auxílio de idiomas
• Estacionamento nas dependências do Eldorado (sede Campinas)