Engenheiro de dados

Tata Consultancy Services

Curitiba

Presencial

BRL 180 000 - 260 000

Tempo integral

14 dias+

Recebe mais respostas dos empregadores

Envia um currículo específico para a oferta em poucos minutos.

Vantagens oferecidas por esta oferta de emprego

Plano de Saúde

Vale Refeição/Alimentação

Auxílio Creche

TCS Cares – suporte 24h

Reembolso de Certificações

Portal de aprendizagem gratuito

Oportunidade de experiência interna

Resumo da oferta

A Tata Consultancy Services busca profissional de Engenharia de Dados para atuar com dados em nuvem no ecossistema Google Cloud Platform. Será responsável por pipelines multi-fonte, governança de dados com Dataplex e arquitetura de Lakehouse, usando BigQuery, Dataflow e Cloud Composer para processamento escalável.

Desenvolverá soluções de extração com crawlers, integração de Oracle, SAP e PostgreSQL, e implementará práticas de qualidade, segurança e automação com Terraform.

Qualificações

Proficiência em Python, incluindo frameworks de crawling/scraping (Scrapy, Selenium, BeautifulSoup) e SQL avançado.
Familiaridade com Dataplex, catálogos de dados e fluxos de autenticação/segurança em nuvem.
Experiência em Engenharia de Dados com foco em arquiteturas em nuvem no ecossistema Google Cloud Platform (GCP).
Conhecimento aprofundado em BigQuery (otimização de consultas, particionamento e clustering), Cloud Composer, Dataflow e Dataplex.
Experiência em pipelines de extração em ambientes heterogêneos (Oracle, SAP, PostgreSQL) e crawlers em larga escala.
Domínio na estruturação de Data Lakes/Lakehouses, modelagem dimensional avançada e otimização de cargas de dados.
Liderar a implantação de Dataplex, governança de metadados, e controles de acesso/iam.
Engenharia de Software e Automação: Python/SQL, design patterns, testes automáticos e IaC (Terraform).
Orquestração com DAGs no Cloud Composer (Airflow) e processamento escalável com BigQuery/Dataflow.

Responsabilidades

Desenhar soluções de engenharia de dados multi-fonte para aquisição contínua de dados (Oracle, SAP, PostgreSQL e crawlers) e raspagem de sites.
Construir pipelines em camadas Bronze/Silver/Gold com regras de negócio para higienização e enriquecimento.
Projetar DAGs em Cloud Composer e Dataflow, promovendo reuso de módulos e eficiência de custos.
Monitorar pipelines e manter rotinas automáticas de qualidade de dados.
Modelar tabelas fato/dimensão no Data Lake/Warehouse com alta performance e custos otimizados.
Liderar Dataplex com catalogação automática, lineage e segurança por coluna/linha.
Estabelecer observabilidade e qualidade com alertas em tempo real.
Atuar como referência técnica, conduzindo code reviews e melhores práticas.

Conhecimentos

Python

SQL

Web scraping

Dataplex

GCP

BigQuery

Dataflow

Cloud Composer

Terraform

APIs de dados

Pipelines de dados

Oracle

SAP

PostgreSQL

Ferramentas

Scrapy

Selenium

BeautifulSoup

Oracle

SAP

PostgreSQL

BigQuery

Dataflow

Dataplex

Cloud Composer

Terraform

Descrição da oferta de emprego

Venha para uma das maiores empresas de Serviços TI do mundo!! Aqui você pode transformar sua carreira! Por que fazer parte da TCS? Aqui na TCS acreditamos que as pessoas fazem a diferença, por isso vivemos uma cultura de aprendizado ilimitado cheio de oportunidades de melhorias e desenvolvimento mútuo. O cenário ideal para expandir ideias através das ferramentas certas, contribuindo para nosso sucesso num ambiente colaborativo.

Requisitos:

Linguagens e Ferramentas: Proficiência em Python (incluindo frameworks para crawling/scraping ex: Scrapy, Selenium, BeautifulSoup) e SQL avançado.
Governança de Dados: Experiência ou forte familiaridade com Dataplex, catálogos de dados e fluxos de autenticação/segurança em nuvem.
Experiência Consolidada: Ampla vivência em Engenharia de Dados com foco em arquiteturas em nuvem no ecossistema Google Cloud Platform (GCP).
Ecossistema GCP (Expertise): Conhecimento aprofundado em BigQuery (otimização de consultas, particionamento e clustering), Cloud Composer, Dataflow e Dataplex.
Sistemas Corporativos e Web Scraping: Sólida bagagem em pipelines de extração em ambientes heterogêneos (Oracle, SAP, PostgreSQL) e crawlers complexos em larga escala (gestão de proxies, tratamento de bloqueios e resiliência).
Modelagem e Arquitetura: Domínio na estruturação de Data
Lakes/Lakehouses (Medalhão), modelagem dimensional avançada e otimização de cargas de dados.
Governança e Qualidade (Dataplex): Experiência prática na configuração do Dataplex, governança de metadados, regras automatizadas de qualidade e controles rígidos de acessos/autenticação.
Engenharia de Software e Automação: Excelência em Python e SQL, design patterns, testes automáticos e Infraestrutura como Código (Terraform).
Orquestração e Processamento: Domínio na criação de DAGs no Cloud Composer (Apache Airflow) e processamento escalável em BigQuery e Dataflow.

Responsabilidades:

Aquisição de Dados Multi-fonte: Projetar e implementar soluções de engenharia de dados de alta performance para aquisição contínua oriunda de Oracle, SAP, PostgreSQL e crawlers web em larga escala, além de raspagem/extração de dados de sites públicos via Web Crawling/Scraping.
Tratamento e Enriquecimento (Arquitetura Medalhão): Construir pipelines de dados estruturados em camadas (Bronze, Silver e Gold), aplicando regras de negócio para tratamento, higienização, cruzamento e enriquecimento das informações até a disponibilização pronta para uso na camada Gold.
Orquestração e Arquitetura de DAGs: Desenhar a arquitetura e padrões de código para Cloud Composer (Apache Airflow) e Dataflow, garantindo reuso de módulos, tolerância a falhas, concorrência otimizada e eficiência de custos.
Monitoramento e Qualidade: Garantir o monitoramento contínuo da execução dos pipelines de dados e implementar/acompanhar rotinas automáticas de qualidade e validação de dados atualizadas durante os processos de aquisição.
Modelagem no Data Lake: Apoiar na estruturação de tabelas fato e dimensão no Data Lake/Warehouse, garantindo otimização e padronização, orientando para alta performance de consulta e custos otimizados.
Governança Avançada e Segurança (Dataplex): Liderar a implantação e operacionalização do Dataplex, configurando catalogação automática de ativos, lineage de dados, políticas de segurança por coluna/linha (Row/Column-level security) e autenticação IAM granular.
Observabilidade e Qualidade de Dados: Estabelecer arquitetura de monitoramento de pipelines, alertas em tempo real e frameworks de qualidade de dados (Data Quality Checks) executados durante a ingestão e atualização das camadas.
Liderança Técnica e Mentoria: Atuar como referência para a equipe, conduzindo revisões de código (code reviews), definindo boas práticas de desenvolvimento, apoiando profissionais de dados da companhia.

O que você pode esperar de nós?

Desenvolvimento profissional e evolução constante das suas competências, sempre de acordo com os seus interesses.

Oportunidades para trabalho fora do Brasil

Um ambiente colaborativo, diverso e inovador, que incentiva o trabalho em equipe.

O que oferecemos?

Plano de Saúde

Vale Refeição/Alimentação

Auxílio Creche

TCS Cares – 0800 gratuito que fornece assistência psicológica (24 hrs/dia), jurídica, social e financeira aos associados

Reembolso de Certificações

Portal de aprendizagem gratuito da TCS – cursos online e treinamentos ao vivo

Oportunidade de experiência internacional