Senior Data Engineer - Terminal.exe

All Your BI; Rotterdam; A distancia; EUR 85.000 - 99.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Personal development budget

Home office budget

Urlaubstage + Zusatzurlaub möglich

Descripción de la vacante

All Your BI sucht einen erfahrenen Data Engineer als Pipeline-Architekt:in für Terminal.exe, die KI-native Datenplattform. Du entwickelst ELT-Pipelines, orchestrierst Azure/PostgreSQL-Architektur und gestaltest das standardisierte Datenmodell, damit TOS-Daten akkurat zusammengeführt werden.

Du bringst 5+ Jahre Data-Engineering-Erfahrung, solide SQL/Python-Kenntnisse und idealerweise Go mit. Wir arbeiten remote innerhalb Europas; Aussicht auf persönliche Entwicklung und umfangreiche Benefits

Formación

• 5+ Jahre Erfahrung im Data Engineering, End-to-End-Verantwortung für produktive Datenplattformen.
• Fundierte Kenntnisse in SQL und Python; Go von Vorteil.
• Erfahrung mit SQL Server als Quellsystem und PostgreSQL als Zieldatenspeicher.
• Cloud-Umgebungen (Azure) und Observability.

Responsabilidades

• Du entwirfst und entwickelst ELT-Pipelines, überträgst Daten aus Terminalbetriebssystemen in die Plattform.
• Du arbeitest an einer mandantenfähigen Azure PostgreSQL-Datenarchitektur und einer standardisierten Schichtenstruktur (STG→ODS→DataMart).
• Du entwickelst Connector-Tools in Go weiter und überwachst Datenqualität und Aktualität.
• Du koordinierst mit Terminalbetrieb und implementierst ein standardisiertes Terminal-Datenmodell.

Descripción del empleo

Vielleicht nennst du dich Senior Data Engineer, Pipeline-Architekt:in, Spezialist:in für „Warum sind diese TOS-Daten so ein Chaos?“ … oder vielleicht einfach Sam. Wie auch immer du dich nennst: Bei Terminal.exe, der KI-nativen Datenplattform von All Your BI für Betreiber von Containerterminals, baust du das Herzstück der Plattform: die Pipelines und das Datenmodell, die aus fragmentierten, schwer vertrauenswürdigen Terminaldaten eine verlässliche Grundlage für den Arbeitsalltag der Betreiber machen.

Was dich erwartet

• Ein Gehalt zwischen 85.000 € und 99.000 € pro Jahr, einschließlich Urlaubsgeld, abhängig von deiner Erfahrung.

• 5.000 € pro Jahr für deine persönliche Weiterentwicklung, wobei du wirklich mitbestimmen kannst, wofür du das Geld ausgibst.

• 25 Urlaubstage + die Möglichkeit, bis zu 10 weitere zu kaufen + lokale Feiertage + die Möglichkeit eines Sabbaticals von bis zu 4 Monaten.

• Zwei Auslandsreisen pro Jahr mit dem gesamten Team + gelegentliche Drinks und Team-Ausflüge.

• 500 € Budget für dein Homeoffice und einen großartigen Laptop.

• Von Zeit zu Zeit ein verdientes „Hey, gut gemacht, Buddy!“

• Vollständig remote, innerhalb Europas.

Benefits in der EU: Die oben genannten Zusatzleistungen kommen von AYBI und gelten für alle, überall. Gesetzliche Leistungen (Rente, Gesundheit, Sozialversicherung, Urlaub, Lohnfortzahlung im Krankheitsfall, Kündigungsfrist) richten sich nach dem Land, in dem du angestellt bist, und werden über deinen lokalen Vertrag oder einen EOR abgewickelt.

Über uns

All Your BI ist eine Remote-first-Datenagentur mit Sitz in Rotterdam. Seit 2019 sind wir von einer Boutique-Beratung zu einem internationalen Datenteam mit mehr als 60 Datenheld:innen in ganz Europa gewachsen. Wir erbringen vollständig betreute BI-Services für Logistik- und Industrieunternehmen, helfen ihnen dabei, Datenverschwendung zu reduzieren und ihre Unternehmen voranzubringen. Wir leben für den WOW-Moment: das Funkeln in den Augen der Nutzer:innen, wenn sie neue Erkenntnisse gewinnen und Chancen entdecken.

Über Terminal.exe

Terminal.exe ist die SaaS-Plattform von All Your BI für Containerterminals. Sie führt fragmentierte Daten aus TOS, Wartung, Gate und Sensoren in einem einheitlichen, kontrollierten Modell zusammen. So arbeiten alle Standorte mit denselben Zahlen, statt ihre Berichte von Grund auf neu zu erstellen. Die Plattform wächst schnell. Du hilfst dabei, die technischen Grundlagen zu gestalten, die als Nächstes skalieren müssen: eine mandantenfähige Datenarchitektur, Pipelines mit nahezu Echtzeit-Aktualisierung aus einem 24/7-Betrieb und ein standardisiertes Datenmodell, das weltweit an verschiedenen Terminals funktioniert.

So sieht die Aufgabe aus

Du entwirfst und entwickelst die Pipelines, die Daten aus Terminalbetriebssystemen (wie Navis N4) in unsere Plattform übertragen, sowie die Transformationsschicht, die aus Rohdaten aus dem operativen Betrieb kuratierte, dokumentierte Datensätze macht.

Konkret arbeitest du an:

• ELT-Pipelines von lokalen Terminaldatenbanken zu unserer Azure-basierten Plattform, mit Aktualisierung nahezu in Echtzeit (3-Minuten-Microbatch) für operative Berichte und täglicher Batch-Verarbeitung für Analysen. Die Extraktion nutzt wasserzeichenbasierte inkrementelle Abfragen über Kafka (Azure Event Hubs) in ein PostgreSQL-Staging-System.

• Einer mandantenfähigen Datenarchitektur auf Azure PostgreSQL mit Trennung auf Datenbankebene pro Mandant und einer standardisierten Schichtenstruktur aus STG → ODS → DataMart, die von unserem internen deklarativen Transformations-Framework (dewi) gesteuert wird.

• Unseren internen, in Go geschriebenen Connector-Tools, die du mitentwickelst und erweiterst.

• Der Überwachung der Datenqualität: Erkennung von Datenlücken, Aktualitätswarnungen und Abgleich.

• Dem standardisierten Terminal-Datenmodell: Zuordnung von Quelldaten aus unterschiedlichen TOS-Versionen und -Konfigurationen zu gemeinsamen Definitionen für Bewegungen, Anläufe und Geräteereignisse.

Du arbeitest direkt mit Mitarbeitenden aus dem Terminalbetrieb zusammen, ohne zwischengeschaltete Ebenen.

Was du mitbringst

• Einstellung und Erfahrung: Neugier und echtes Interesse daran, architektonische Verantwortung zu übernehmen, sowie 5+ Jahre Erfahrung im Data Engineering, einschließlich der End-to-End-Verantwortung für produktive Datenplattformen. Dieses Produkt wird aktiv weiterentwickelt. Wir brauchen jemanden, der sich wohl damit fühlt, Entscheidungen zu treffen, statt sie nur umzusetzen.

• Kerntechnologien: Fundierte Kenntnisse in SQL und Python; Erfahrung mit Go ist ein großer Pluspunkt (unsere Connectoren und Consumer sind in Go geschrieben). Fundierte Erfahrung mit SQL Server als Quellsystem und PostgreSQL als Zieldatenspeicher.

• Pipelines und Streaming: Erfahrung im Aufbau und Betrieb von ELT-Pipelines für operative Quellsysteme, einschließlich wasserzeichenbasierter/inkrementeller oder CDC-/replikabasierter Extraktion, sowie mit ereignisgesteuerten oder Streaming-Architekturen. Wir verwenden Azure Event Hubs mit einem Kafka-kompatiblen Endpunkt.

• Cloud und Observability: Erfahrung mit Cloud-Datenplattformen auf Azure. Kenntnisse von AKS, Azure DevOps CI/CD und GitOps (Argo CD) sind ein Plus. Außerdem legst du großen Wert auf Datenkorrektheit und Instrumentierung. Wir verwenden OpenTelemetry.

• Von Vorteil: Kenntnisse der Containerterminal- oder Hafenlogistikbranche, direkte Erfahrung mit Navis N4 oder einem anderen TOS, Erfahrung mit mandantenfähigen SaaS-Datenarchitekturen sowie Vertrautheit mit deklarativen, YAML-gesteuerten Transformations-Frameworks. Branchenkenntnisse sind ein großer Pluspunkt, aber keine zwingende Voraussetzung. Wir bringen dir das Terminalgeschäft bei.

education_code: bachelor_degree

experience_code: experienced

min_hours_per_week: 40

max_hours_per_week: 40

Gehalt: 85.000–99.000 EUR pro Jahr