Senior Data Engineer #2

ICON Solutions do Brasil; United States; Remote; USD 120,000 - 160,000; Full time

Job summary

A ICON Solutions do Brasil está buscando um/uma Senior Data Engineer para atuar remotamente. O profissional será responsável pela construção e manutenção de pipelines de dados em produção em plataformas de nuvem, com atuação em AWS ou Azure dentro da equipe de dados.

Procura-se mais de 5 anos de experiência prática, forte domínio de SQL e Python, experiência com ETL/ELT, Airflow e Spark, além de experiência em produção em larga escala e foco em qualidade de dados.

Qualifications

• Mais de 5 anos de atuação prática com engenharia de dados.
• Domínio de SQL e Python, com foco em ETL/ELT.
• Experiência com pipelines em produção na nuvem (AWS/Azure).
• Conhecimento em Spark e ferramentas de orquestração como Airflow.
• Capacidade de evoluir a qualidade de dados e custos.

Responsibilities

• Projetar, desenvolver e manter pipelines ETL/ELT escaláveis em nuvem.
• Otimizar desempenho, confiabilidade e custo dos pipelines.
• Implementar checagem de qualidade de dados, monitoramento e alertas.
• Colaborar com o Líder de Engenharia de Dados e o Arquiteto.
• Apoiar modelagem de dados e desenho de schemas com o Analista.
• Diagnosticar e resolver problemas em produção e participar de revisões de código.

Skills

SQL

Python

ETL/ELT

Airflow

Spark

Tools

AWS

Azure

Glue

Redshift

Databricks

ADF

Kinesis

Job description

Senior Data Engineer #2 (Remoto)

Você conhece a Icon?

Apaixonados por pessoas e especialistas em tecnologia. Nosso trabalho é encontrar talentos e soluções sob medida para os nossos clientes.

Vem encontrar o seu projeto ideal conosco e participar da comunidade ICON!

Sobre a Vaga

Código da vaga: A65718065417

Modelo de contratação: PJ

Posição de engenharia sênior com atuação prática Será responsável pela construção e manutenção de pipelines de dados em produção em uma plataforma de nuvem, normalmente atuando em uma frente de trabalho ou stack de cloud diferente dentro da mesma equipe de engenharia de dados.

Principais Responsabilidades

• Projetar, desenvolver e manter pipelines ETL/ELT escaláveis em AWS ou Azure.
• Otimizar o desempenho, a confiabilidade e a eficiência de custos dos pipelines.
• Implementar verificações de qualidade de dados, monitoramento e alertas para pipelines em produção.
• Trabalhar em conjunto com o Líder de Engenharia de Dados e o Arquiteto no desenho dos pipelines e definição de padrões.
• Apoiar a modelagem de dados e o desenho de schemas em conjunto com o Analista de Modelagem de Dados.
• Diagnosticar e solucionar problemas de pipelines de dados em produção.
• Participar de revisões de código e contribuir para as boas práticas de engenharia.

Requisitos

• Mais de 5 anos de experiência prática em engenharia de dados.
• Conhecimento aprofundado em uma plataforma de cloud: AWS (Glue, S3, Redshift, EMR, Lambda, Kinesis) ou Azure (Data Factory, Synapse, ADLS, Databricks).
• Forte conhecimento em SQL e Python (ou Scala), com experiência em ferramentas de orquestração como Airflow, ADF, entre outras.
• Experiência com desenvolvimento de ETL/ELT, verificações de qualidade de dados e otimização de desempenho.
• Conhecimento de frameworks de processamento distribuído de dados, como Spark.
• Experiência operando pipelines de dados em produção em grande escala.
• Sólido conhecimento de Data Warehousing e conceitos de modelagem dimensional.

Diferenciais

• Conhecimento de CI/CD e infraestrutura como código, como Terraform.
• Experiência com pipelines de dados em streaming, como Kafka, Kinesis e Event Hubs.
• Conhecimento de dbt ou ferramentas similares de transformação de dados.

Local

Remoto
Inglês FLUENTE
Atuará no fuso horário PST (Pacific Standard Time)

#vemserICON