Engenheiro de Dados - SR

V8.TECH; São Paulo; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma oportunidade para um Engenheiro de Dados em uma empresa inovadora em São Paulo, que busca um profissional para desenvolver e otimizar pipelines de dados. O candidato ideal terá experiência em engenharia de dados, automação e integração de dados. Oferecemos um ambiente de trabalho flexível e remoto, com benefícios competitivos e oportunidades de crescimento.

Serviços

Cartão de Benefícios Flexíveis

Seguro de Vida

Plano de Saúde

Plano Odontológico

PLR

Voucher no dia do aniversário

Parceria com escola de inglês

Qualificações

• Experiência em engenharia de dados e automação de pipelines.
• Vivência com arquitetura de Data Lake e Data Vault.
• Conhecimento em mensageria e integração de dados via APIs.

Responsabilidades

• Desenvolver, otimizar e manter pipelines de dados no Lakehouse.
• Criar pipelines para captura de dados do OLTP Oracle.
• Garantir qualidade e governança nas pipelines de dados.

Conhecimentos

Engenharia de Dados

Automação de Pipelines

Eficiência Operacional

Integração de Dados

Formação académica

Engenharia

Ferramentas

Oracle GoldenGate

Apache Airflow

Databricks

SQL Avançado

Terraform

Docker

Kubernetes

Descrição da oferta de emprego

Empregos para engenheiro de dados - sr - São P...

Offered by Fundação Instituto de Administração. Apply your new skills to real-world projects using the latest industry tools & techniques. 24/7 Customer Support. 14d Money-Back Guarantee. Find A Course. Earn A Certificate. Learn Something New. Earn a Course Certificate. Register Today. Flexible Online Learning. 100% Online Courses. Free 7-Day Trial. Courses: Android Development, iOS Development.

Desculpe, este trabalho não está disponível em sua região

Estamos em busca de uma pessoa dedicada e com vontade de fazer a diferença para atuar na área de Dados. Se você ama tecnologia, gosta de desafios e acredita no poder da colaboração para alcançar grandes resultados, essa oportunidade é para você!

Responsabilidades e atribuições

• O Data Engineer será responsável pelo desenvolvimento, otimização e manutenção de pipelines de dados, garantindo ingestão, transformação e exposição de dados eficientes e escaláveis no Lakehouse.
• Atenderá três frentes dentro do projeto:

1. Equipe de Ingestão – Criará pipelines para captura de dados do OLTP Oracle transacional e ingestão para o Lakehouse via CDC (Change Data Capture), GoldenGate e Airflow.
2. Equipe do Lake – Implementará estratégias de transformação de dados, organização de camadas do Lakehouse, Data Vault e Data Mesh.
3. Equipe de Data Marts – Criará e otimizará modelos de dados e processos de exposição para analistas, relatórios, BI e Data Science.

Garantirá qualidade, rastreabilidade e governança nas pipelines, utilizando Liquibase para versionamento, DataOps para automação e monitoramento para auditoria. Atuará lado a lado com DataOps Engineers, Analistas de Dados, DevSecOps e Engenharia de Plataforma, garantindo entregas seguras e eficientes. Trabalhará diretamente com o time cliente para a materialização das esteiras de dados e conformidade com padrões arquiteturais.

Desenvolver, otimizar e monitorar pipelines de dados para ingestão, transformação e exposição no Lakehouse. Criar e manter pipelines de ingestão do Oracle OLTP para o Lakehouse, garantindo baixa latência e alta disponibilidade. Organizar e otimizar camadas do Data Lake, garantindo dados estruturados para múltiplos consumidores. Implementar e otimizar estratégias de DataVault e Data Mesh, garantindo governança e rastreabilidade. Criar e otimizar Data Marts para consumo analítico, garantindo performance para BI e Data Science. Garantir observabilidade e rastreabilidade dos dados, implementando logs, métricas e monitoramento contínuo. Atuar junto ao time cliente para materializar as esteiras de dados, garantindo conformidade com padrões arquiteturais. Garantir segurança e compliance dos dados, implementando controles de acesso, anonimização e auditoria. Apoiar a otimização e escalabilidade do ambiente de dados, garantindo eficiência operacional e suporte a alto volume de dados.

Requisitos e qualificações

• Experiência em engenharia de dados e automação de pipelines.
• Experiência prática com ingestão de dados via CDC e GoldenGate.
• Vivência com arquitetura de Data Lake, Data Vault e Data Marts.
• Familiaridade com versionamento e automação de deploy com Liquibase.
• Experiência com modelagem de dados e otimização de queries para análise e transações.
• Capacidade de lidar com múltiplos consumidores de dados, garantindo eficiência operacional.
• Conhecimento em mensageria e integração de dados via APIs e tópicos corporativos.

Ingestão de Dados: Oracle GoldenGate, CDC, Azure Data Factory, Apache Airflow. Armazenamento e Processamento: Databricks, Delta Lake, Snowflake, Oracle Data Intelligence Platform. Transformação e Modelagem: SQL avançado, Apache Spark, Data Vault, Data Mesh. Automação e Versionamento: Liquibase para versionamento de schema e DataOps para automação. Exposição de Dados: APIs REST, RabbitMQ/Kafka para eventos, Data Marts para consumo analítico. Monitoramento e Observabilidade: Azure Monitor, Prometheus, OpenTelemetry, Data Lineage. DevSecOps e Infraestrutura como Código: Terraform, Docker, Kubernetes.

Informações Adicionais

• Remuneração CLT compatível com o mercado;
• Trabalho Remoto;
• Horário de trabalho flexível: De acordo com área de atuação e política interna;
• Cartão de Benefícios Flexíveis com todas as categorias habilitadas: Alimentação, Refeição, Mobilidade, Educação, Saúde e Cultura;
• Seguro de Vida (Caixa Econômica);
• Plano de Saúde (Porto Seguro);
• Plano Odontológico (Porto Seguro);
• PLR de acordo com a política da empresa;
• Voucher no dia do aniversário;
• Parceria com escola de inglês;
• Programa de indicação #amigosv8.tech;