Especialista em Engenharia de Dados

LogComex; Curitiba; Híbrido; BRL 120.000 - 160.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em Curitiba busca um profissional para desenvolver pipelines de dados robustos usando PySpark e Airflow. O candidato ideal deve ter experiência em controle de qualidade de dados e governança de dados. Benefícios incluem plano de saúde e subsídio para desenvolvimento. Ambiente descontraído e colaborativo.

Serviços

Plano de saúde Unimed ou Amil

Plano odontológico Odontoprev

Seguro de vida - Metlife

Frutas frescas e café disponíveis

Happy hours e eventos de integração

Assistência escolar

Qualificações

• Experiência no desenvolvimento e manutenção de pipelines de dados.
• Familiaridade com controle de qualidade de dados.
• Capacidade de trabalhar em equipe com squads de produto.

Responsabilidades

• Desenvolver e manter pipelines de dados utilizando PySpark e Airflow.
• Projetar processos de ingestão para o datalake.
• Garantir a governança de dados e auditoria das pipelines.

Conhecimentos

PySpark

Apache Airflow

AWS S3

SQL

Elasticsearch/OpenSearch

Docker

Pandas

Jupyter

Unix (Linux)

DBT

Descrição da oferta de emprego

Overview

Logcomex é uma empresa de tecnologia que oferece conjuntos de soluções que transformam o dia a dia no comércio exterior. Nosso objetivo é ser o sistema operacional do comércio exterior para as empresas da América Latina. Em 2024, fomos reconhecidos pelo sexto ano consecutivo como uma das Melhores Empresas para se Trabalhar (GPTW)! Alcançamos o 21º lugar no ranking das melhores empresas para se trabalhar no Paraná e o 65º lugar entre as melhores empresas de tecnologia para se trabalhar no Brasil. Estamos comprometidos em promover uma cultura de respeito, humildade e colaboração, onde você pode ser quem é. Acreditamos que as experiências fortalecem nosso trabalho em equipe, compartilhando conhecimentos e habilidades. Para nós, a tecnologia é a ferramenta que conecta o mundo e, como referência no que fazemos, queremos ter pessoas extraordinárias com a gente, para transformar a maneira que as empresas fazem o Comércio Exterior!

Bora?

Responsibilities

• Desenvolver e manter pipelines de dados robustos, escaláveis e testáveis utilizando PySpark e Airflow.
• Projetar e implementar processos de ingestão e transformação de dados para alimentar o datalake em arquitetura de camadas (Bronze, Silver, Gold).
• Atuar com controle de qualidade de dados, documentação e gestão de linhagem utilizando OpenMetadata.
• Trabalhar em conjunto com os squads de produto e captura para garantir a consistência e cobertura dos dados.
• Garantir a governança de dados, versionamento e auditoria das pipelines em produção.
• Otimizar rotinas de ETL/ELT e desempenho de queries em bancos relacionais, data warehouses e motores como Elasticsearch e Athena.

Qualifications

Procuramos pessoas com conhecimento em...

• PySpark
• Apache Airflow
• AWS S3, Glue, Athena, EC2
• SQL (Athena, PostgreSQL)
• Elasticsearch/OpenSearch
• Docker
• Pandas
• Jupyter
• Unix (Linux), Bash
• DBT

Será legal se você conhecer...

• Glue
• Delta Lake
• Kubernetes
• NoSQL
• Elasticsearch
• Airbyte

Additional information

Nossos Benefícios: Benefícios Caju no valor fixo de R$2.300,00 mês (CWB e RMC) ou R$ 1.840,00 (Demais regiões) (alimentação, mobilidade, saldo multi e auxílio home office);

Plano de saúde Unimed ou Amil com abrangência Nacional;

Plano odontológico Odontoprev;

Seguro de vida - Metlife;

Wellhub;

Keikein (plataforma de apoio psicológico);

Convênio farmácia Panvel;

Licença maternidade e paternidade estendida pelo Programa Empresa Cidadã;

Subsídio para desenvolvimento, em parceria com a Unico Skill, que oferece diversas opções de graduação, pós-graduação, idiomas, mentorias, etc;

Aulas de inglês particulares para liderança e especs nível II para cima;

Auxilio Escola/Educação.

Mimos: Frutas frescas, cookies, café, chá e energéticos disponíveis a qualquer momento; Happy hours, eventos de integração e team buildings; Viagens para o escritório dos Loggers de fora são custeadas pela empresa; Parceria com Market 4U e KÜK Station para oferecer o melhor aos nossos Loggers em dia de escritório; Sem dress code: aqui você pode ser você e usar o que te deixa mais confortável; Ambiente descontraído, cheio de desafios e campeonatos de videogame; Rede de descanso para um respiro no meio da correria do dia; Biblioteca da Log com livros incríveis para todos os Loggers se desenvolverem; Massagem in company; Day-off de aniversário; Presente de aniversário; Presentes incríveis a cada ano de Logger; Recruta Loggers (programa de indicação com bonificação).