Desenvolvedor de Dados Pleno

QUESTOR SISTEMAS S.A; São Paulo; Presencial; BRL 120 000 - 180 000; Tempo integral

Resumo da oferta

A Questor Sistemas S.A. busca um Desenvolvedor(a) de Dados Pleno para atuar na vertical de Dados, estruturando a infraestrutura e devolvendo autonomia às áreas de negócio.

O papel envolve liderar pipelines de dados e manter a governança de dados com foco em qualidade e eficiência. Você irá trabalhar com Databricks, PySpark, SQL, Airflow e migração entre nuvens (GCP para AWS), contribuindo com a melhoria contínua de desempenho e custos, além de documentar fluxos e regras de negócio no catálogo

Qualificações

• Experiência em pipelines de dados end-to-end com foco em qualidade e performance.
• Conhecimento avançado de PySpark, SQL e Databricks.
• Capacidade de conduzir integração de dados a partir de várias fontes.

Responsabilidades

• Desenvolver, manter e evoluir pipelines de dados end-to-end para ingestão, tratamento e disponibilização de dados nas camadas Bronze, Silver e Gold do Datalake, garantindo qualidade e performance das entregas.
• Construir, otimizar e propor melhorias em rotinas de ETL/ELT com PySpark e SQL sobre a plataforma Databricks, aplicando padrões de arquitetura Medallion.
• Conduzir a integração de dados a partir de múltiplas fontes: bancos relacionais (SQL Server, PostgreSQL, Oracle), APIs REST, arquivos e sistemas transacionais (ERP Sankhya).
• Conduzir migração de cargas e modelos do BigQuery/GCP para AWS/Databricks, com decisões técnicas embasadas.
• Definir e implementar rotinas de qualidade de dados, testes e validações, monitorando consistência e completude.
• Monitorar a execução de jobs e orquestrações (Airflow) e corrigir falhas com autonomia.

Conhecimentos

PySpark

SQL

ETL/ELT

Databricks

Airflow

AWS

Ferramentas

Databricks

Airflow

SQL Server

PostgreSQL

Oracle

Descrição da oferta de emprego

Procuramos uma pessoa para a posição de Desenvolvedor(a) de Dados Pleno na vertente de Dados, com o desafio de estruturar a infraestrutura, garantindo autonomia às áreas de negócio. Atividades:

• Desenvolver, manter e evoluir pipelines de dados end-to-end para ingestão, tratamento e disponibilização de dados nas camadas Bronze, Silver e Gold do Datalake, garantindo qualidade e performance das entregas.
• Construir, otimizar e propor melhorias em rotinas de ETL/ELT com PySpark e SQL sobre a plataforma Databricks, aplicando e evoluindo os padrões de arquitetura Medallion definidos pelo time.
• Conduzir a integração de dados a partir de múltiplas fontes: bancos relacionais (SQL Server, PostgreSQL, Oracle), APIs REST, arquivos e sistemas transacionais (ERP Sankhya), com autonomia para definir a melhor abordagem técnica em cada caso.
• Atuar na migração de cargas e modelos do BigQuery/GCP para o ambiente AWS/Databricks, contribuindo com decisões técnicas e na identificação de riscos e pontos de atenção.
• Definir e implementar rotinas de qualidade de dados, testes e validações, monitorando a consistência e a completude das entregas e propondo melhorias contínuas nos processos de validação.
• Monitorar a execução de jobs e orquestrações (Airflow), atuando com autonomia na identificação, diagnóstico e correção de falhas nos pipelines.
• Documentar e manter atualizados fluxos, tabelas, dicionários de dados e regras de negócio no catálogo corporativo (Unity Catalog), zelando pela qualidade da documentação do time.
• Aplicar e disseminar as diretrizes de Governança de Dados, segurança e controle de acesso definidas pela área.
• Atuar como referência técnica para analistas de dados e áreas de negócio, apoiando na disponibilização, no entendimento e na correta utilização dos dados modelados.
• Participar ativamente das cerimônias do time e das rotinas de sustentação, propondo e conduzindo iniciativas de melhoria contínua de performance e custo dos processos.