Engenheiro(a) de Dados Sênior IA Sênior — Python | Microsoft Azure | RPA / Machine Learning

inventCloud; São Paulo; Híbrido; BRL 180 000 - 300 000; Tempo integral

Resumo da oferta

inventCloud procura Engenheiro(a) de Dados Sênior com forte atuação em Python, Pandas e PySpark, integrando soluções em Microsoft Azure. O papel envolve projetar, desenvolver e evoluir pipelines de dados, automações e APIs em ambientes complexos.

Você trabalhará com ETL/ELT, Azure Data Factory, Azure Databricks e RPA, assegurando escalabilidade, observabilidade e segurança das soluções.

Qualificações

• Experiência sólida em Python, Pandas e PySpark para processamento de dados.
• Conhecimento avançado em Microsoft Azure e serviços de data engineering.
• Experiência com ETL/ELT, APIs REST/SOAP, e automação com RPA.
• Prática em monitoramento, observabilidade e melhoria de pipelines de dados.

Responsabilidades

• Desenvolver aplicações e serviços em Python para processamento de dados, integrações, automações e APIs.
• Projetar, implementar e evoluir pipelines ETL/ELT para ingestão, transformação e disponibilização de dados.
• Utilizar Pandas, PySpark e bibliotecas do ecossistema Python para grandes volumes de dados.
• Construir integrações com APIs REST/SOAP, bancos de dados relacionais e NoSQL, sistemas corporativos e arquivos.

Conhecimentos

Python

Pandas

PySpark

Microsoft Azure

Azure Data Factory

Azure Databricks

ETL/ELT

APIs REST/SOAP

RPA

CI/CD

Observability

Ferramentas

Git

SQL

NoSQL

Descrição da oferta de emprego

Estamos buscando um(a) Engenheiro(a) de Dados Sênior com sólida experiência em Python, Microsoft Azure e RPA, para atuar no desenvolvimento de soluções de dados, automação e integração de sistemas em ambientes de alta complexidade.Esse profissional será responsável por projetar, desenvolver, implementar e evoluir pipelines de dados, processos de ETL/ELT, APIs, automações RPA e serviços em cloud, garantindo escalabilidade, observabilidade, segurança, performance, confiabilidade e qualidade das soluções.

Principais responsabilidades técnicas:

• Desenvolver aplicações, serviços e soluções utilizando Python, com foco em processamento de dados, integrações, automações e APIs.
• Projetar, implementar e evoluir pipelines de ETL/ELT para ingestão, transformação, validação, processamento e disponibilização de dados.
• Desenvolver soluções utilizando Pandas, PySpark e demais bibliotecas do ecossistema Python para processamento e manipulação de grandes volumes de dados.
• Construir e manter integrações com APIs REST/SOAP, bancos de dados, sistemas corporativos, arquivos e aplicações legadas.
• Projetar e implementar arquiteturas e soluções utilizando serviços da Microsoft Azure.
• Desenvolver e orquestrar pipelines de dados utilizando Azure Data Factory e/ou tecnologias equivalentes.
• Desenvolver soluções de processamento distribuído utilizando Azure Databricks e PySpark.
• Desenvolver e manter automações utilizando RPA, integrando processos automatizados a sistemas, APIs e fluxos de dados.
• Implementar soluções com foco em escalabilidade, performance, segurança, disponibilidade e observabilidade.
• Monitorar e otimizar pipelines e processos de dados, identificando gargalos e oportunidades de melhoria.
• Atuar na resolução de problemas técnicos complexos e na evolução contínua da arquitetura de dados.
• Garantir boas práticas de engenharia de software, versionamento, testes, documentação e qualidade de código.
• Trabalhar em conjunto com times de dados, engenharia, arquitetura, infraestrutura e áreas de negócio para definição e implementação das soluções.

Principais tecnologias e conhecimentos:

• PythonPandasPySparkMicrosoft AzureAzure Data Factory (ADF)Azure DatabricksETL/ELT e engenharia de dadosAPIs REST/SOAPRPA e automação de processosBancos de dados relacionais e/ou NoSQLGit e práticas de CI/CDMonitoramento, observabilidade e troubleshootingArquiteturas de processamento distribuído e soluções cloud