Remote Data Integration Engineer - Databricks & Python

Gramian Consulting Group; United States; Remote; USD 90,000 - 130,000; Full time

Job summary

Gramian Consultancy ищет опытного Data / Integration Engineer для управления данными в производственной AI-поддерживаемой платформе KYC/Customer Due Diligence для международной страховой среды. Ваша задача — обеспечить надежную передачу данных между Databricks, SQL Server и внешними системами.

Кандидат будет строить коннекторы к провайдерам скрининга, моделировать данные и внедрять качество данных и тесты интеграции. Работа удаленная для ЕС; ASAP.

Qualifications

• Опыт работы с Databricks, включая Delta Lake и Unity Catalog.
• Опыт работы с Python / PySpark.
• Продвинутые навыки SQL.
• Опыт интеграции с SQL Server и устаревшими базами данных.
• Опыт работы с REST API, DB links, пакетной обработкой, файлами и SFTP- интеграциями.
• Опыт моделирования данных и проектирования контрактов данных.
• Опыт реализации проверки качества данных и интеграционных тестов.
• Свободный английский и возможность удаленной работы в пределах ЕС.

Responsibilities

• Идентифицировать и сопоставлять источники данных внутри компании и за её пределами.
• Определить контракты данных и канонические структуры для клиентских данных, скрининга, аудита и отчетности.
• Разрабатывать коннекторы к внешним провайдерам скрининга, открытым реестрам и локальным источникам данных.
• Соединять Databricks с SQL Server, устаревшими базами данных и основными корпоративными системами.
• Поддерживать API, соединения по DB links, пакетную обработку, файлы и SFTP-интеграции.
• Проектировать и поддерживать модели данных, обеспечивающие доказательства, аудит и отчетность.
• Внедрять проверки качества данных, тесты контрактов и правила хранения.
• Проверять входящие и исходящие потоки данных в продукционных сервисах.
• Оказывать поддержку в устранении неполадок интеграций и подготовке к РР.

Tools

Databricks

Delta Lake

Unity Catalog

Python

PySpark

SQL

REST APIs

DB links

Batch processing

SFTP

SQL Server

Data modelling

Data contracts

Data quality

Integration testing

Job description

Gramian Consultancy ищет опытного Data / Integration Engineer для управления данными в производственной AI-поддерживаемой платформе KYC/Customer Due Diligence для международной страховой среды. Ваша задача — обеспечить надежную передачу данных между Databricks, SQL Server и внешними системами.

Кандидат будет строить коннекторы к провайдерам скрининга, моделировать данные и внедрять качество данных и тесты интеграции. Работа удаленная для ЕС; ASAP.