Data Engineer - Build Scalable Pipelines & BigQuery Insights (GCP)

Enfint; Warszawa; On-site; PLN 180,000 - 320,000; Full time

Job summary

Enfint ищет специалиста по данным для разработки и поддержки масштабируемых data pipelines. Вы будете работать над инфраструктурой для обработки больших данных, интегрир вашей работе с командами продуктов, аналитики и дизайна.

Требуется опыт работы с SQL, Python/NodeJS, GCP (BigQuery, Dataproc, Dataflow) и инструментами Big Data. Вилка технологий включает Hadoop, Spark и Kafka; владение Tableau и React является плюсом.

Qualifications

• 3+ года опыта работы с большими массивами данных.
• Опыт построения масштабируемых конвейеров данных и архитектур.
• Продвинутый уровень SQL.
• Опыт Python или NodeJS.
• Опыт работы с GCP (BigQuery, Dataproc, Dataflow).
• Опыт работы с Hadoop, Spark или Kafka.
• Умение работать в кросс-функциональных командах.
• Знакомство с Kubernetes или Docker.
• Знакомство с Tableau и React.
• Желателен Scala или Java.

Responsibilities

• Идентифицировать бизнес-возможности и проектировать масштабируемые решения данных.
• Строить и владеть конвейерами данных для очистки, трансформации и агрегации данных из разных источников.
• Создавать и поддерживать оптимальную архитектуру конвейеров данных.
• Собирать большие и сложные наборы данных в соответствии с требованиями бизнеса.
• Автоматизировать ручные процессы и улучшать доставку данных.
• Строить инфраструктуру для ETL на основе GCP BigQuery и Spark.
• Разрабатывать аналитические инструменты, использующие конвейеры данных.
• Оказывать поддержку заинтересованным сторонам по вопросам данных и инфраструктуры.
• Разрабатывать инструменты данных для аналитиков и data science.

Skills

SQL

Python

NodeJS

Data pipelines

Big data analytics

Tools

GCP BigQuery

Dataproc

Dataflow

Kubernetes

Docker

Hadoop

Spark

Kafka

Tableau

React

Scala

Java

Job description

Enfint ищет специалиста по данным для разработки и поддержки масштабируемых data pipelines. Вы будете работать над инфраструктурой для обработки больших данных, интегрир вашей работе с командами продуктов, аналитики и дизайна.

Требуется опыт работы с SQL, Python/NodeJS, GCP (BigQuery, Dataproc, Dataflow) и инструментами Big Data. Вилка технологий включает Hadoop, Spark и Kafka; владение Tableau и React является плюсом.