Dataengineers

emagine; Oslo fylke; Sur place; NOK 900 000 - 1 200 000; Plein temps

Résumé du poste

Norges Bank søker en Data Engineer til å modernisere bankens dataplatformer ved å etablere en ny skyløsning i Azure i perioden 2024–2028. Løsningen innebærer ca 100 integrasjoner og 450 datasett brukt i økonomiske modeller, statistikk og analyser.

Du vil jobbe tett med Data Reliability Engineering-teamet for å sikre kvalitet, standardisering og enkel tilgang til data, og du forventes å ha minst 3–5 års erfaring med Python, SQL, Databricks og lakehouse-arkitektur.

Qualifications

• Minimum 3 års erfaring i data engineering og moderne skybaserte dataplattformer
• Utviklingsmetodikk og rammeverk for data engineering
• Datamodellering — relasjonsmodeller, stjerneskjema, fakta og dimensjoner
• Historisering/versjonering av data
• CI/CD, versjonskontroll og strukturerte utviklingsløp
• Python for databehandling, integrasjoner, testing og automatisering
• Databricks, Delta Lake, Spark og kolonnebaserte lagringsformater
• Parquet og Delta Lake: ytelse, partisjonering og spørringsoptimalisering
• Tilstrebelse av AI-støttet utvikling og bruk av AI-verktøy
• Samarbeid med Data Reliability Engineering-teamet
• Kjennskap til lakehouse-/data warehouse-arkitekturer
• Erfaring med tidsseriedata og store datamengder

Responsabilités

• Innhente data fra eksterne og interne kilder (Azure Data Factory, Python)
• Standardisere dataintegrasjoner (filbasert, SQL, API)
• Vaske, bearbeide og klargjøre data (Python)
• Tilgjengeliggjøre data i medaljong- og lakehouse-arkitektur
• Sørge for teknisk kvalitet på data
• Modellere data
• Veilede og samarbeide med brukere av dataene

Formation

Mastergrad i datateknologi eller tilsvarende

Outils

Databricks

Delta Lake

Spark

Parquet

Azure Data Factory

Azure DevOps/GitHub

Airflow

Dagster

Prefect

Python

SQL

GitHub Copilot

Description du poste

BESKRIVELSE AV OPPDRAGET

Dagens dataplattformer skal moderniseres ved at det etableres en ny dataplattform i skyen (Azure) i perioden 2024 til 2028. Dagens løsninger skal bygges på nytt på den nye dataplattformen for å unngå å videreføre teknisk gjeld og datagjeld. Løsningen består av om lag 100 integrasjoner og 450 datasett som i dag benyttes til økonomiske modeller, statistikk og analyser.

BESKRIVELSE AV OPPDRAGET

Dagens dataplattformer skal moderniseres ved at det etableres en ny dataplattform i skyen (Azure) i perioden 2024 til 2028. Dagens løsninger skal bygges på nytt på den nye dataplattformen for å unngå å videreføre teknisk gjeld og datagjeld. Løsningen består av om lag 100 integrasjoner og 450 datasett som i dag benyttes til økonomiske modeller, statistikk og analyser.

ANSVAR OG OPPGAVER

Vi har behov for en til to Data Engineers. Som Data Engineer vil du ha fokus

• Innhente data fra eksterne og interne datakilder (Azure Data Factory, Python m.m.)
• Standardisere dataintegrasjoner (filbasert, SQL, API etc,)
• Vaske, bearbeide og klargjøre data (Python)
• Tilgjengeliggjøre data i henhold til medaljong- og lakehouse-arkitektur
• Sørge for teknisk kvalitet på data.
• Modellere data
• Veilede og samarbeide med brukere av dataene

HOVEDKVALIFIKASJONER OG FERDIGHETER

Kompetanser

• Minimum 3 års erfaring, ønskelig med kandidater med 5+ år,
• innen data engineering og moderne skybaserte dataplattformer.
• Utviklingsmetodikk og rammeverk for data engineering.
• Datamodellering - relasjonsmodeller, stjerneskjema, fakta og dimensjoner o.l.
• Historisering / versjonering av data.
• Database/tabell/schema administrasjon.
• Erfaring med CI/CD, versjonskontroll og strukturerte utviklingsløp.
• God kompetanse i Python for databehandling, integrasjoner, testing og automatisering.
• God erfaring med Databricks, Delta Lake, Spark og kolonnebaserte lagringsformater
• som Parquet, inkludert ytelsesoptimalisering og kostnadseffektiv databehandling, samt design og implementering av lakehouse-, data warehouse- eller medallion-arkitekturer.
• Erfaring med tidsseriedata og behandling av store datamengder på moderne kolonnebaserte plattformer som Databricks, Snowflake eller BigQuery. God forståelse
• av hvordan lagringsformat som Parquet og Delta Lake påvirker ytelse, partisjonering, komprimering og spørringsoptimalisering.
• Forståelse av statistiske metoder og maskinlæring for analyse av tidsserier,
• eksempelvis økonomiske indikatorer, markedsdata eller andre observasjoner over tid.
• Aktiv bruk av AI-assistenter som GitHub Copilot, Claude Code eller tilsvarende i utviklingsarbeid.
• Rollen samarbeider tett med Data Reliability Engineering-teamet om etablering av standarder, automatisering, observability, AI-støttet utvikling og kontinuerlig forbedring
• av plattformen.
• Vi ønsker kandidater som aktivt benytter moderne AI-verktøy i utviklingsarbeidet

Ønskelige kompetanser

• Skyteknologi fortrinnsvis Azure
• Databricks
• Behersker Python og SQL Godt
• Airflow/Dagster/Prefect for orkestrering eller tilsvarende.
• Azure Data Factory
• AI-verktøy - Claude Code, Copilot o.l.
• Azure DevOps/GitHub

Bonus med forståelse av

• Agent-baserte løsninger
• MCP
• AI governance
• AI for analysebrukere

Utdanning

Utdanning (fortrinnsvis master) innen datateknologi eller lignende retninger

Personlige egenskaper

• Lagspiller
• Løsningsorientert
• God erfaring med tverrfaglig samarbeid på tvers av team, roller og fagområder
• Bruker-/produktorientert

LOKASJON

Norges Bank, Bankplassen 2, Oslo

VARIGHET PÅ OPPDRAGET (OG OPSJONER)

Oppdragets varighet er fra snarest mulig etter tildeling, og til 31.12.2028

Norges Bank forbeholder seg rett til å forlenge oppdraget med 6 måneder + 3 måneder.

Intern søknadsfrist: 20.10