Engenheiro(a) de Dados / DataOps

Flowa Technologies; Rio de Janeiro; On-site; BRL 180,000 - 300,000; Full time

Job summary

A Flowa Technologies está buscando Engenheiro(a) de Dados / DataOps para apoiar a implementação e evolução da plataforma de DataOps da área de Analytics.

Você será responsável por desenvolver, implantar e manter a infraestrutura necessária para execução de pipelines de dados em batch e em tempo real, além de projetar pipelines escaláveis, resilientes e observáveis. A vaga exige experiência sólida em AWS, IaC e ferramentas como Trino, Kafka, Flink, Airflow e Dagster.

Qualifications

• Graduação completa em Ciência da Computação, Engenharia, TI ou áreas afins.
• Experiência robusta com ambientes AWS e infraestrutura como código.
• Conhecimento em plataformas de dados, observabilidade e DataOps.
• Experiência com Terraform e/ou CloudFormation.
• Experiência com engines de consulta como Trino e bancos PostgreSQL.
• Conhecimento em Kafka, Flink, Glue e DBT.
• Arquiteturas Data Lake/Lakehouse e Iceberg.
• Orquestração com Dagster/Airflow e versionamento com Git/Bitbucket.

Responsibilities

• Suportar a plataforma DataOps da área de Analytics.
• Desenvolver, implantar e manter pipelines de dados batch e em tempo real.
• Projetar pipelines escaláveis, resilientes e observáveis.
• Automatizar infraestrutura com IaC.
• Gerenciar workloads em AWS, preferencialmente com serviços gerenciados.
• Colaborar com Analytics e Infraestrutura na definição de arquiteturas e padrões.
• Monitorar disponibilidade, segurança e performance da plataforma de dados.
• Contribuir com melhorias contínuas em arquitetura, ferramentas e processos.

Tools

AWS

Terraform

CloudFormation

Trino

PostgreSQL

Kafka

Flink

Airflow

Dagster

Glue

DBT

Iceberg

Git

Bitbucket

Job description

Sobre a vaga

Buscamos um(a) Engenheiro(a) de Dados / DataOps para apoiar a implementação e evolução da plataforma de DataOps da área de Analytics.

Você será responsável por desenvolver, implantar e manter a infraestrutura necessária para execução de pipelines de dados em batch e em tempo real, além de projetar pipelines escaláveis, resilientes e observáveis.

Responsabilidades principais

• Apoiar a implementação e evolução da plataforma de DataOps da área de Analytics;
• Desenvolver, implantar e manter a infraestrutura para execução de pipelines de dados em batch e real time;
• Projetar e evoluir pipelines de dados escaláveis, resilientes e observáveis;
• Automatizar processos de infraestrutura utilizando Infrastructure as Code (IaC);
• Implantar e administrar workloads em ambiente AWS, preferencialmente com serviços gerenciados;
• Colaborar com os times de Analytics e Infraestrutura na definição de arquiteturas, padrões e boas práticas;
• Monitorar, otimizar e garantir disponibilidade, segurança e performance da plataforma de dados;
• Contribuir com propostas de melhoria contínua para arquitetura, ferramentas e processos.

Requisitos

• Graduação completa em Ciência da Computação, Engenharia, Tecnologia da Informação ou áreas afins;
• Experiência robusta com ambientes AWS;
• Conhecimento em arquitetura de plataformas de dados, observabilidade, automação e boas práticas de DataOps;
• Conhecimento em Infrastructure as Code, utilizando Terraform e/ou CloudFormation;
• Experiência sólida com query engines, como Trino;
• Bancos de dados relacionais, especialmente PostgreSQL;
• Ferramentas de streaming e processamento de dados em tempo real, como Apache Kafka e Apache Flink;
• Ferramentas de transformação de dados, como Glue e DBT;
• Arquiteturas baseadas em Data Lake/Lakehouse e formatos de tabela como Apache Iceberg;
• Orquestração de pipelines utilizando Dagster, Apache Airflow ou ferramentas similares;
• Versionamento com Git e Bitbucket.

Diferenciais

• Experiência com computação distribuída utilizando Ray;
• Bancos NoSQL ou especializados, como Redis;
• Experiência com bancos de dados de grafos, como Neo4j, ArcadeDB ou similares;
• Conhecimento em soluções de identidade e gerenciamento de acesso (Keycloak, Ping Identity ou similares);
• Experiência com estratégias de Disaster Recovery (DR) em ambientes multi-cloud;
• Experiência com Google Cloud Platform (GCP);
• Inglês avançado.