data engineer for event-sourced data enrichment

NDA; United States; On-site; USD 120,000 - 180,000; Full time

Benefits offered by this job

Высокая зарплата

Премии по результатам

Пересмотр заработной платы

24 дня отпуска

Корпоративные уроки английского

Job summary

HireHi ищет инженера по данным для поддержки и развития внутрішнего решения по обогащению данных, основанного на event sourcing. Ваша задача — строить production-grade data marts и обеспечивать качество данных через Airflow и ClickHouse MV.

Требуется 3+ года опыта, сильные SQL и Python (pandas/SQLAlchemy/PySpark). Предлагаются бонусы по результатам, гибкий график и обучение английскому в компании.

Qualifications

• 3+ года опыта в data engineering
• Сильные SQL навыки, сложные аналитические запросы и оптимизация
• Сильные знания Python и библиотеки: pandas, SQLAlchemy, PySpark
• Опыт продакшн‑уровня Python, ООП, архитектура приложений, тестирование, Git, CI/CD
• Опыт создания и поддержки Airflow DAG
• Опыт с моделями dbt, тестами и макросами
• Опыт с движками таблиц ClickHouse, MV и настройкой производительности
• Опыт с Kafka: продюсеры, консьюмеры, топики, партиционирование, гарантия доставки
• Опыт с инструментами обеспечения качества данных: dbt tests, Great Expectations или Soda
• Ориентация на результат и владение результатами
• Уровень английского не ниже B2

Responsibilities

• Поддерживать и развивать внутреннее решение по обогащению данных, основанное на event sourcing
• Строить готовые к эксплуатации data marts с использованием Airflow, dbt и Materialized Views в ClickHouse
• Реализовать проверки качества данных для DAG Airflow и MV ClickHouse
• Автоматизировать повторяющиеся задачи и устанавливать лучшие практики Data Engineering
• Писать и поддерживать техническую документацию

Skills

Data engineering experience

SQL

Python

Airflow

dbt

ClickHouse

Kafka

Great Expectations

Tools

Airflow

dbt

ClickHouse

Pandas

SQLAlchemy

PySpark

Job description

Описание: Описания нет

Задачи

• Support and develop the in-house data enrichment solution built on event sourcing
• Build production-ready data marts using Airflow, dbt, and ClickHouse Materialized Views
• Implement data quality checks for Airflow DAGs and ClickHouse MVs
• Automate repetitive tasks and establish Data Engineering best practices and standards
• Write and maintain technical documentation

Требования

• 3+ Years of experience in data engineering
• Strong SQL skills, including complex analytical queries and query optimization
• Strong Python fundamentals and hands-on experience with data engineering libraries such as pandas, SQLAlchemy, and PySpark
• Software engineering background, including production-grade Python, OOP, application architecture, testing, Git, and CI/CD
• Hands-on experience building and maintaining Airflow DAGs
• Experience with dbt models, tests, and macros
• Experience with ClickHouse table engines, Materialized Views, and performance tuning
• Experience with Kafka producers, consumers, topics, partitioning, and delivery guarantees
• Experience with data quality tools such as dbt tests, Great Expectations, or Soda
• Solution-oriented mindset and ownership of results
• English proficiency at B2 level

Условия

• High salary, performance bonuses, and salary revision
• Work schedule: Monday–Friday, 8 hours per day, with flexible starting hours
• 24 Days of holiday leave
• Corporate English lessons