Remote Data Engineer with ML & Azure Databricks

KCS IT; United States; Remote; USD 90,000 - 150,000; Full time

Benefits offered by this job

Free training programs

International projects in Benelux

Well-being programs (remote)

Job summary

KCS IT ищет Data Engineer с опытом ML для разработки и внедрения конвейеров данных в облаке Azure. Требуется глубокое владение Python, SQL и PySpark, а также опыт работы с Azure Databricks и хранилищами данных Azure.

Кандидат должен уметь работать над полным циклом разработки данных, включая подготовку данных, обучение моделей и пакетный скоринг. Вакансия предполагает работу с международными проектами и удаленными командами.

Qualifications

• 2–3 года опыта Data Engineering, участие в проектах с традиционным ML
• Узкие знания Azure Databricks
• Опыт Python, SQL и PySpark
• Опыт работы с Azure Data Lake Storage и форматами Parquet/Delta Lake
• Опыт полного цикла разработки данных: ingestion, transformation, modelling, delivery
• Практический опыт ML-библиотек
• Знание data preparation, feature engineering, model training/validation/evaluation
• Опыт интеграции моделей в конвейеры данных и пакетный скоринг
• Опыт работы с Git и процессами разработки
• Способность разрабатывать масштабируемые решения, фокус на производительности и затратах
• Свободное владение португальским и английским языками
• Дополнительный плюс: Azure ML, Azure Data Factory, мониторинг моделей, data drift, retraining
• Опыт публикации моделей через API/endpointы
• Знание Unity Catalog, управления данными и контроля доступа
• Опыт работы в Agile/Scrum, Jira, Confluence

Skills

Python

SQL

PySpark

Azure Databricks

ML-библиотеки

Tools

Azure Data Lake Storage

Parquet

Delta Lake

Git

Jira

Confluence

Azure Machine Learning

Job description

KCS IT ищет Data Engineer с опытом ML для разработки и внедрения конвейеров данных в облаке Azure. Требуется глубокое владение Python, SQL и PySpark, а также опыт работы с Azure Databricks и хранилищами данных Azure.

Кандидат должен уметь работать над полным циклом разработки данных, включая подготовку данных, обучение моделей и пакетный скоринг. Вакансия предполагает работу с международными проектами и удаленными командами.