Data Tech Lead

Vmbears; Itupeva; Presencial; BRL 201 000 - 335 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Desconto em academias

Reembolso de certificações

Programa de Indicação

TotalPass

Resumo da oferta

A VMBears é uma empresa jovem e moderna de Itupeva, SP, buscando um Data Tech Lead para liderar a equipe de desenvolvimento e garantir a qualidade técnica dos produtos de dados. A função envolve traduzir requisitos de negócio em soluções de dados robustas e escaláveis.

Você trabalhará com Spark, Flink, Redshift, BigQuery, Athena e ferramentas de orquestração para desenhar pipelines, monitorar desempenho e custos, além de definir padrões de dados e observabilidade.

Qualificações

• Experiência comprovada como Engenheiro(a) de Dados com foco em soluções de dados em scale-up.
• Domínio de Python ou Java e SQL para manipulação de dados.
• Conhecimento em tecnologias de Big Data e processamento de grandes volumes de dados.
• Experiência com SGBD para projetar e manter estruturas de dados eficientes.
• Documentação, boas práticas de arquitetura de dados e pensamento analítico.
• Monitoramento de custos e performance em Snowflake/Redshift/BigQuery/Athena com particionamento e caching.
• Implementação de testes de qualidade de dados e observabilidade em pipelines críticos.

Responsabilidades

• Liderar e inspirar a equipe de desenvolvimento, promovendo engajamento com o propósito do time.
• Comunicar lacunas técnicas em linguagem acessível ao negócio.
• Facilitar discussões sobre trade-offs entre tecnologias e ferramentas.
• Fomentar root-cause analysis e aprendizado pós-incidente.
• Conectar a visão arquitetural da empresa com os detalhes da solução.
• Desenhar a arquitetura de dados distribuída com latência e throughput adequados.
• Implantar pipelines de ingestão, transformação e publicação para batch e streaming.
• Orientar na otimização de jobs Spark/Flink e no uso de data warehouses columnares.
• Definir padrões de versionamento, catalogação e lineage de dados.

Conhecimentos

Python

Java

SQL

Big Data

Data Warehouses

Data Pipelines

Spark

Flink

Ferramentas

Redshift

BigQuery

Athena

Kafka

Airflow

Descrição da oferta de emprego

Data Tech Lead VMBEARS•itupeva, estado de são paulo, br

Descrição da vaga

A VMBears é uma empresa jovem e moderna com o objetivo de ajudar seus clientes a aproveitar novas tecnologias para acelerar seus negócios. Fornece serviços de consultoria para arquitetura corporativa e modernização de sistemas para nuvem. Fundada em 2018, possui em seu DNA a ética, a positividade, o comprometimento e a inovação. Somos focados em oferecer os melhores serviços prestados através dos melhores profissionais do mercado. Esses recursos são utilizados para auxiliar os clientes em sua jornada de modernização tecnológica e transformação digital.

O Data Tech Lead é um desenvolvedor de software, responsável por liderar uma equipe de desenvolvimento e responsável pela qualidade de seus produtos técnicos. Um Tech Lead eficaz provê toda uma visão técnica à sua equipe de desenvolvimento e trabalha junto aos desenvolvedores para transformá-la em realidade. Ao longo do caminho, um líder técnico assumirá características inerentes a outras funções como liderança de equipe, arquitetura de software, mas permanecerá intrinsecamente ligado ao código-fonte do produto

O que você vai fazer?

• Liderar e inspirar desenvolvedores, incentivando a curiosidade e o engajamento com o propósito do time.
• Comunicar lacunas e oportunidades técnicas em linguagem acessível ao negócio.
• Facilitar discussões sobre trade-offs entre tecnologias e ferramentas.
• Fomentar uma cultura de root-cause analysis e aprendizado pós-incidente.
• Conectar a visão arquitetural big picture da companhia com os detalhes da arquitetura da solução.
• Desenhar a arquitetura de dados distribuída, garantindo latência e throughput que atendam aos requisitos do negócio.
• Implantar pipelines de ingestão, transformação e publicação que suportem batch e streaming em larga escala.
• Orientar desenvolvedores na otimização de jobs Spark/Flink e no uso adequado de data warehouses colunares.
• Definir padrões de versionamento, catalogação e lineage de dados para rastreabilidade de processamento.

Requisitos Imprescindíveis

• Experiência comprovada como Engenheiro(a) de Dados, com histórico sólido na área, forte pensamento lógico e resolução de problemas complexos.
• Proficiência em linguagens de programação (Python, Java ou outras) e SQL para manipulação e gerenciamento de dados.
• Conhecimento em tecnologias de Big Data e processamento de grandes volumes de dados.
• Experiência com Sistemas de Gerenciamento de Banco de Dados (SGBD) para projetar e manter estruturas eficientes e processos críticos.
• Habilidade em documentação, aplicação de boas práticas de arquitetura de dados e pensamento analítico.
• Capacidade de monitorar custos e performance em Redshift, BigQuery ou Athena, propondo ajustes de partição, compressão e caching.
• Habilidade para implementar testes de qualidade de dados e observabilidade end-to-end nos pipelines críticos.

Stack Desejável

• Data Warehouses & Data Lakes: Redshift, BigQuery, Snowflake, Athena, Apache Iceberg, Delta Lake.
• Processamento: Spark (DataFrames, Structured Streaming), Flink, EMR, Dataproc, Databricks, Hadoop (YARN, HDFS).
• Ingestão & Mensageria: Apache NiFi, Kafka Connect, AWS DMS, Kafka, Kinesis, Pub/Sub.
• Orquestração & Observabilidade: Airflow, Prefect, Dagster, OpenTelemetry, DataHub, Great Expectations.
• Infraestrutura & Qualidade: Terraform (IaC), CI/CD (Git), testes de dados automatizados e segurança/LGPD (IAM fine-grained, criptografia em repouso e em trânsito).

Benefícios Oferecidos

• Modelo 100% Remoto: Auxílio home office e a flexibilidade de trabalhar de onde estiver.
• Saúde e Bem-estar: Descontos em academias através do TotalPass.
• Incentivo aos Estudos: Reembolso total de certificações necessárias para sua atuação profissional.
• Programa de Indicação: Bônus de R$ 2.000,00 por indicação de novos colaboradores (\"Bears\") que permaneçam conosco por mais de 3 meses.

CLTLocal: Campinas SPModelo: presencialSobre NósSonhar grande está no nosso DNA.E, mais do que nunca, é o nosso futuro.Um futuro onde estamos sempre olhando para frente.Sempre oferecendo no...