LLM Data Engineer for Production Data Pipelines

Callista; Zürich; On-site; CHF 120,000 - 190,000; Full time

Job summary

Callista sucht Data & AI Engineers zur Migration und Modernisierung großer Data-Warehouse-Umgebungen mit LLM-unterstützten Workflows. Die Rolle vereint angewandtes Maschinelles Lernen, Data Engineering und Software Engineering mit Fokus auf produktionsreife LLM-Systeme für Datentransformation, Validierung und Automatisierung.

Es handelt sich nicht um eine Forschungsposition; Erfolg wird gemessen an der Entwicklung robuster Systeme, die reale Workflows datenplattformen verbessern und

Qualifications

• Nachweisbare Erfahrung in der Entwicklung von ML/LLM-basierten Produkten oder internen Tools.
• Erfahrung mit dem produktiven Einsatz solcher Systeme ist zwingend erforderlich.
• Praxis in Data-Warehouse-/Big-Data-Systemen (Snowflake, Databricks, BigQuery, Redshift, Teradata, Oracle, Spark oder Kafka).
• Erfahrung mit Orchestrierungstools wie Airflow oder Dagster.
• Sehr gute Deutsch- und Englischkenntnisse.

Responsibilities

• Konzeption und Entwicklung LLM-gestützter Systeme zur Unterstützung von Data-Warehouse-Migrations- und Transformationsprozessen.
• Entwicklung interner Tools und Workflows unter Einsatz von LLMs für Generierung und Übersetzung von Datenflüssen (SQL, Spark, Flink, Kafka, dbt), Schema-Übersetzung und Datenvalidierung.
• Konzeption und Implementierung von Evaluierungsframeworks für LLM-generierte Ergebnisse (Prüfungen, Assertions, diff-basierte Validierung).
• Aufbau und Betreuung von Datenpipelines und Orchestrierungs-Workflows in produktiven Umgebungen.
• Optimierung und Fehleranalyse groß angelegter Datenverarbeitungssysteme in verteilten Umgebungen.
• Einsatz von agentenbasierten Ansätzen und Tool-Use-Patterns, mit Fokus auf zuverlässige Ausführung.
• Zusammenarbeit mit Data Engineers und Platform Teams zur Modernisierung bestehender Legacy-Data-Warehouse-Systeme.

Skills

ML/LLM-Produkte

Data-Warehouse

SQL

Airflow

Python

Tools

Snowflake

Databricks

BigQuery

Spark

Kafka

dbt

Dagster

Job description

Callista sucht Data & AI Engineers zur Migration und Modernisierung großer Data-Warehouse-Umgebungen mit LLM-unterstützten Workflows. Die Rolle vereint angewandtes Maschinelles Lernen, Data Engineering und Software Engineering mit Fokus auf produktionsreife LLM-Systeme für Datentransformation, Validierung und Automatisierung.

Es handelt sich nicht um eine Forschungsposition; Erfolg wird gemessen an der Entwicklung robuster Systeme, die reale Workflows datenplattformen verbessern und