Engenheiro de Dados Sênior | Databricks, Python e PySpark (PJ)

Engineering Brasil; São Paulo; In loco; BRL 150.000 - 230.000; Tempo pieno

Descrizione del lavoro

Engineering Brasil está recrutando um(a) engenheiro(a) de dados sênior para projetar, desenvolver e manter pipelines robustos de dados em ambiente Databricks. Você irá integrar dados de APIs, bancos e serviços em nuvem, trabalhando com Spark, PySpark e SQL para processamento em batch e streaming.

O papel requer experiência em EDA, modelos estatísticos e de ML, com foco em validação, deployment e observabilidade.

Competenze

• Experiência em análise exploratória de dados (EDA), identificação de padrões e interpretação de resultados.
• Conhecimento no desenvolvimento, treinamento, validação e otimização de modelos estatísticos e de Machine Learning.
• Experiência com algoritmos de classificação, regressão, agrupamento, previsão de séries temporais e detecção de anomalias.
• Conhecimento em Feature Engineering e seleção de atributos.
• Capacidade de avaliar modelos por meio de métricas de desempenho e técnicas de validação.
• Experiência na disponibilização e integração de modelos analíticos em ambientes produtivos, APIs ou dashboards.
• Capacidade de traduzir necessidades de negócio em soluções analíticas orientadas a dados.

Mansioni

• Projetar, desenvolver e manter pipelines de dados (ETL/ELT), garantindo qualidade, integridade, escalabilidade e confiabilidade.
• Integrar dados provenientes de APIs, bancos de dados, sistemas corporativos, arquivos e serviços em nuvem.
• Desenvolver e otimizar processos de ingestão e transformação utilizando Databricks, Apache Spark e PySpark.
• Desenvolver soluções de processamento de dados em batch e streaming.
• Criar e gerenciar notebooks, Jobs e Workflows no ambiente Databricks.
• Implementar práticas de monitoramento, observabilidade, governança e validação da qualidade dos dados.
• Desenvolver e otimizar consultas SQL e modelos de dados.

Conoscenze

ETL/ELT pipelines

Databricks

Apache Spark

PySpark

SQL & Data Modeling

EDA & ML basics

Model deployment

CI/CD basics

Strumenti

Python (PySpark)

SQL

Databricks

Apache Spark

Cloud platforms (GCP/AWS/Azure)

Descrizione del lavoro

• Projetar, desenvolver e manter pipelines de dados (ETL/ELT), garantindo qualidade, integridade, escalabilidade e confiabilidade.
• Integrar dados provenientes de APIs, bancos de dados, sistemas corporativos, arquivos e serviços em nuvem.
• Desenvolver e otimizar processos de ingestão e transformação utilizando Databricks, Apache Spark e PySpark.
• Desenvolver soluções de processamento de dados em batch e streaming.
• Criar e gerenciar notebooks, Jobs e Workflows no ambiente Databricks.
• Implementar práticas de monitoramento, observabilidade, governança e validação da qualidade dos dados.
• Desenvolver e otimizar consultas SQL e modelos de dados.

Esperamos que você tenha

• Experiência em análise exploratória de dados (EDA), identificação de padrões e interpretação de resultados.
• Conhecimento no desenvolvimento, treinamento, validação e otimização de modelos estatísticos e de Machine Learning.
• Experiência com algoritmos de classificação, regressão, agrupamento, previsão de séries temporais e detecção de anomalias.
• Conhecimento em Feature Engineering e seleção de atributos.
• Capacidade de avaliar modelos por meio de métricas de desempenho e técnicas de validação.
• Experiência na disponibilização e integração de modelos analíticos em ambientes produtivos, APIs ou dashboards.
• Capacidade de traduzir necessidades de negócio em soluções analíticas orientadas a dados.

Será um diferencial se você tiver Arquitetura, Integração e Cloud

• Experiência com arquiteturas escaláveis para processamento e armazenamento de grandes volumes de dados.
• Conhecimento em plataformas de nuvem, como Google Cloud Platform (GCP), AWS ou Azure.
• Experiência na integração do Databricks com serviços cloud, bancos de dados e ferramentas analíticas.
• Conhecimento em versionamento, automação e práticas de CI/CD.
• Participação em definições arquiteturais e decisões técnicas relacionadas a plataformas de dados.
• Facilidade de colaboração com equipes de desenvolvimento, infraestrutura, Inteligência Artificial e áreas de negócio.