Engenheiro(a) de Dados

VAGAS; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

A Jump, empresa de tecnologia e análise de dados, busca um(a) Engenheiro(a) de Dados Sênior para atuar nos EUA, desenvolvendo e mantendo pipelines com Databricks, Python e SQL. O profissional atuará com arquitetura distribuída, Delta Lake, Azure Data Factory e automação de pipelines, visando eficiência, qualidade dos dados e entrega de insights estratégicos.

Experiência com Azure DevOps, Git e processamento de grandes volumes é desejável; a posição oferece desafios técnicos e oportunidades de

Qualifications

• Conhecimento avançado em Python, PySpark e SQL para pipelines de dados.
• Experiência com Databricks e Azure Data Factory para orquestração.
• Familiaridade com Delta Lake e pipelines de dados em escala.

Responsibilities

• Criar e manter pipelines de dados com Databricks.
• Desenvolver algoritmos para acesso e processamento de dados brutos.
• Transformar dados brutos em informações analíticas.
• Automatizar processos e pipelines de dados.
• Garantir confiabilidade, qualidade e eficiência dos dados.
• Trabalhar com Azure Data Factory e Databricks Jobs/Workflows.

Skills

Arquitetura distribuída

Autonomia técnica

Tools

Databricks

Python

PySpark

Spark

SQL

Azure Data Factory

Azure

Azure DevOps

Git

Job description

Senioridade: Pleno/Sênior

Breve Resumo do Projeto: Possuir conhecimentos de programação e SQL avançados, ferramentas, plataformas, frameworks e arquitetura distribuída, sendo responsável por desenvolver e manter pipelines de dados, definindo a organização, fluxo e estrutura de armazenamento e apresentação dos dados, transformando dados brutos em informações que possam ser analisadas. Atuar na automação de processos e pipelines de dados, garantindo eficiência, confiabilidade e qualidade nas soluções desenvolvidas em ambiente Databricks.

Descrição das Principais Atividades e Reponsabilidades:

• Criação e manutenção de pipelines de dados utilizando Databricks;
• Desenvolvimento de algoritmos e processos para facilitar o acesso e processamento dos dados brutos;
• Desenvolvimento de soluções utilizando Python, PySpark/Spark e SQL;
• Cuidar da aquisição, ingestão e transformação dos dados;
• Desenvolver processos de ETL/ELT e conjuntos de dados;
• Automatizar processos, rotinas e pipelines de dados;
• Identificar maneiras de melhorar a confiabilidade, eficiência e qualidade dos dados;
• Estruturar conjuntos de dados para resolver problemas de negócio;
• Trabalhar com arquitetura distribuída e processamento de grandes volumes de dados;
• Utilizar Azure Data Factory na construção e orquestração de pipelines;
• Utilizar Databricks Jobs/Workflows para execução e automação de processos;
• Trabalhar com Delta Lake e soluções de armazenamento/processamento de dados no Databricks;
• Utilizar Azure DevOps/Git para versionamento e gestão do desenvolvimento;
• Estruturar o uso de dados para identificar tarefas e processos que possam ser automatizados;
• Entregar atualizações e processos automatizados para as partes interessadas com base nas necessidades do negócio.

Descrição Perfil Técnico:

• Databricks.
• Python / PySpark / Spark.
• SQL.
• Azure Data Factory (ADF).
• Azure.
• Azure DevOps.
• Git.

Informações da Empresa:

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência. Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio.

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil. Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.