data engineer in AI

Solvd Inc.; Colombia; On-site; COP 180,000,000 - 300,000,000; Full time

Job summary

Solvd Inc. приглашает старшего специалиста по данным на работу в роли ведущего архитектора больших данных. Ваша задача — руководить реализацией проектов на базе Databricks, проектировать архитектуры Lakehouse и руководить командами разработки и миграций.

Требуется опыт разработки ETL‑пайплайнов, владение Python и Spark, знание dbt, а также понимание вопросов безопасности и соответствия требованиям. Офис в Колумбии или удалённая работа по регионам устанавливается компанией.

Qualifications

• Опыт разработки распределённых Databricks‑решений и архитектур Lakehouse.
• Практический опыт построения больших дата‑пайплайнов.
• Опыт программирования на Python и работы с SQL/Spark.
• Опыт использования dbt в Databricks экосистеме.
• Понимание управления данными, безопасности и соответствия требованиям.

Responsibilities

• Обеспечивать техническое руководство и сопровождение клиентов в реализации больших дата‑проектов.
• Вести проекты от архитектуры и дизайна до инжиниринга данных и развертывания моделей.
• Вести миграции клиентов.
• Проектировать решения от идеи до продакшна.
• Предоставлять наставничество команде.
• Поддерживать технические пред‑продажи.

Skills

Technical leadership

Python

SQL

Spark / PySpark

Databricks

dbt

Data governance

Cloud integrations

ETL pipelines

Education

Bachelor’s degree in Computer Science / Information Systems / Engineering

Tools

Databricks

Terraform

MLflow

Delta Lake

Azure / AWS / GCP Databricks

Power BI

Job description

Описание: Solvd Inc. is an AI-native consulting and technology services firm delivering enterprise transformation across cloud, data, software engineering, and artificial intelligence. Following the acquisition of Tooploox, it provides end-to-end delivery from strategic advisory and solution design to custom AI development and enterprise-scale implementation.

Задачи:

• Provide technical leadership and guide customers through successful implementations of big data projects;
• Lead projects from architecture and design through data engineering and model deployment;
• Lead clients through migrations;
• Architect solutions from concept to production;
• Provide structured mentorship to other team members;
• Support technical pre-sales efforts.

Требования:

• Experience leading the design and end-to-end development of distributed Databricks-based solutions, including Lakehouse architectures, ETL pipelines, streaming and batch processing, and integrations with client cloud and on-premises enterprise systems;
• Hands-on experience building big data pipelines;
• Hands-on programming experience with Python;
• Expert knowledge of SQL and Spark or PySpark, including data ingestion from APIs, relational databases, and other sources;
• Hands-on experience using dbt within the Databricks ecosystem;
• Solid understanding of data governance, security, and compliance;
• Hands-on experience with platform optimization, including cluster configuration, partitioning strategies, caching, autoscaling, and job orchestration;
• Ability to clearly explain core Databricks concepts and their practical applications;
• Bachelor’s degree in computer science, Information Systems, Engineering, or equivalent work experience;
• Nice to have: Databricks Certification, DevOps with Terraform, scalable machine learning pipelines on Databricks using MLflow and Delta Lake, Azure, AWS or GCP Databricks deployment, Databricks deployments for government clients, interactive dashboards and reports using BI tools such as Power BI, Scala.

Условия:

Work location: Colombia; No conditions specified.