Tech Lead – Engenharia de Dados

Cognitivo; São Paulo; Hybrid; BRL 320,000 - 520,000; Full time

Benefits offered by this job

Recesso 30 dias

Wellhub para você e dependentes

Subsídio para certificações AWS

Parcerias com instituições de ensino

Regime CLT + benefícios

Sexta-feira com expediente reduzido às

Seguro de vida

VR/VA

Job summary

A Cognitivo procura um Tech Lead para liderar sete engenheiros de dados, formando um time de oito com a liderança, sustentação da plataforma atual e novos desenvolvimentos. O profissional definirá prioridades, padrões de arquitetura e revisará pipelines, garantindo qualidade técnica e desempenho.

A posição envolve atuação com Python, Airbyte, Airflow, dbt e serviços AWS (S3, Athena, Glue, Lambda) em produção, com forte foco em observabilidade e governança de dados.

Qualifications

• Resumo de liderança técnica com atuação em time de dados.
• Domínio de Python e SQL, com prática em produção.
• Experiência com Airbyte, Airflow e dbt em ambientes AWS.
• Conhecimento de arquitetura de data lake e governança de dados.
• Capacidade de revisão de pipelines, código e qualidade de dados.

Responsibilities

• Liderar tecnicamente 7 engenheiros de dados e planejar prioridades.
• Priorizar sustentação, novos desenvolvimentos e projetos internos.
• Distribuir capacidade da equipe considerando prazos e impactos.
• Definir padrões de arquitetura, testes, implantação e observabilidade.
• Revisar soluções, pipelines, modelos dbt e configurações antes da produção.
• Apoiar resolução de incidentes complexos e liderar incidentes críticos.
• Garantir desempenho, confiabilidade e segurança dos pipelines.
• Monitorar disponibilidade, volume e tempo de processamento.
• Comunicar riscos, prazos e andamento das entregas às áreas envolvidas.
• Desenvolver o time por meio de feedback e compartilhamento de conhecimento.

Skills

Liderança técnica

Python

SQL

Airbyte

Airflow

dbt

AWS

Git

CI/CD

LGPD / Governança de dados

Tools

Airbyte

Airflow

dbt

AWS (S3, Athena, Glue, Lambda)

Terraform (D inveis to be included)

Job description

Buscamos uma pessoa Tech Lead para liderar sete engenheiros de dados, formando um time técnico de oito pessoas com a liderança. A equipe atua na sustentação da plataforma atual, em novos desenvolvimentos e em projetos internos realizadoscom outras áreas da empresa. O Tech Lead será responsável por organizar essas frentes, definir prioridades, distribuir a capacidade da equipe e garantir a qualidade técnica das entregas. A plataforma está em produção e utiliza Python, Airbyte, Airflow, dbt e serviços AWS, principalmente S3, Athena, Glue e Lambda.

• Liderar tecnicamente e acompanhar o trabalho dos sete engenheiros


• Priorizar demandas de sustentação, novos desenvolvimentos e projetos internos


• Distribuir a capacidade da equipe considerando criticidade, impacto, prazo e dependências


• Definir e garantir a aplicação de padrões de arquitetura, desenvolvimento, testes, implantação, documentação e observabilidade


• Revisar soluções, códigos, pipelines, modelos dbt e configurações antes da entrada em produção


• Apoiar a resolução de problemas complexos e liderar tecnicamente incidentes críticos


• Garantir que os novos desenvolvimentos mantenham ou melhorem o padrão atual de performance da plataforma


• Prevenir vazamentos, acessos indevidos, alterações e exclusões acidentais de dados


• Definir controles de backup, versionamento, auditoria, recuperação e rollback


• Garantir que os pipelines sejam confiáveis, monitorados, idempotentes e seguros para reprocessamento


• Acompanhar indicadores de disponibilidade, atualização, volume, qualidade e tempo de processamento


• Dar visibilidade às áreas envolvidas sobre prioridades, riscos, prazos e andamento das entregas


• Desenvolver tecnicamente o time por meio de direcionamento, revisão de código e compartilhamento de conhecimento

Requisitos técnicos

• Experiência sólida com Engenharia de Dados e plataformas em produção


• Domínio de Python e SQL


• Experiência com Airbyte para ingestão e integração de dados


• Experiência com Apache Airflow, incluindo criação, manutenção e otimização de DAGs


• Experiência com dbt para transformação, testes, documentação e organização de modelos


• Conhecimento avançado de arquitetura de data lake em AWS


• Experiência prática com Amazon S3, incluindo organização em camadas, particionamento, formatos de arquivo, versionamento, ciclo de vida e proteção contra exclusões


• Experiência com Amazon Athena, incluindo otimização de consultas, performance e controle de custos


• Experiência com AWS Glue, incluindo Data Catalog, schemas, tabelas, crawlers e jobs


• Experiência com AWS Lambda e arquiteturas orientadas a eventos


• Conhecimento de IAM, roles, políticas e contas de serviço


• Conhecimento de criptografia, auditoria e governança utilizando serviços como KMS, CloudTrail e LakeFormation


• Experiência com processamento incremental, cargas históricas, reprocessamento e recuperação de dados


• Conhecimento de observabilidade, qualidade de dados, alertas e resposta a incidentes


• Experiência com Git, revisão de código e processos de CI/CD


• Capacidade de analisar e otimizar performance, escalabilidade e custos em ambientes AWS


• Conhecimento de LGPD e governança de dados

Diferenciais

• Experiência com Terraform ou outra ferramenta de infraestrutura como código


• Experiência com mensageria e arquiteturas orientadas a eventos


• Vivência com migração ou internalização de plataformas de dados


• Experiência com definição de SLAs, SLOs e gestão de incidentes


• Conhecimento de otimização de custos em ambientes AWS.

Informações adicionais

• 30 dias de recesso remunerado


• Wellhub para você e dependentes


• Subsídio para certificações (como AWS) e cursos


• Parcerias com instituições de ensino


• Rotina flexível.Após internalização: Regime CLT + benefícios:


• Qualidade de vida: sexta-feira com expediente reduzido até 13h


• Saúde e bem-estar: convênio médico e odontológico Omint (com dependentes), seguro de vida, Starbem, ginástica laboral, parceria com SESC e TotalPass


• Alimentação e mobilidade: VR & VA no cartão flexível iFood e vale-transporte/vale-mobilidade


• Desenvolvimento: bolsa de estudos de até 60%, auxílio para idiomas e universidade corporativa


• Reconhecimento: vale-aniversário, day off no aniversário e 4 premiações anuais de até 75% do salário


• Família: licença-maternidade de 180 dias, licença-paternidade de 21 dias e auxílio-creche para crianças de até 10 anos


• Segurança financeira: previdência privada


• Férias: geralmente 20 dias coletivos entre dezembro e janeiro, com 10 dias restantes para uso ao longo do ano


• Ambiente de trabalho: espaços de descompressão, sala de jogos, videogame, cadeira de massagem, café da manhã, frutas e chocolate liberado


• Importante: todos os benefícios são sem desconto em folha, exceto o TotalPass (opcional)