Senior Data Engineer (2)

Omega AS; Oslo fylke; Hybrid; NOK 800,000 - 1,100,000; Full time

Benefits offered by this job

Konkurransedyktig kompensasjon

Forsikringsordninger

Velferdstilbud

Feriehus og hytter i Norge og utland

Arrangementer og turer

Job summary

Omega 365 Consulting i Oslo-området søker erfarne Data Engineers til modernisering og videreutvikling av bankens data- og analyseplattform.

Vi bygger en ny skybasert plattform i Microsoft Azure og bruker Databricks som sentral teknologi for databehandling, analyse og maskinlæring. Kandidaten bør ha 3+ års erfaring og bidra til AI-støttet utvikling.

Qualifications

• Minst 3 års erfaring innen data engineering og moderne skybaserte dataplattformer.
• Stor interesse for AI-støttet utvikling og automatisering.
• Kunnskap om Databricks, Delta Lake og Apache Spark.
• Erfaring med data governance og datakvalitet.

Responsibilities

• Innhente data fra interne og eksterne kilder ved hjelp av Azure Data Factory og Python.
• Transformere og klargjøre data for analyse og modellering.
• Tilgjengeliggjøre data etter lakehouse-/medallion-arkitekturprinsipper.
• Sikre kvalitet på data og datapipelines.
• Arbeide med historisering og versjonering av data.
• Veilede analytikere og andre databrukere i løsninger.

Skills

Data engineering

Python

Azure Data Factory

Databricks

Delta Lake

Apache Spark

Data modeling

CI/CD

Versioning

SQL

Job description

Omega 365 Consulting er en ledende leverandør av dyktig prosjektpersonell til aktører innenolje, gass, fornybar energi og infrastruktur. Vi tilbyr et bredt utvalg av konsulentoppdrag,inkludert mange av de mest spennende prosjektene i Norge og i utlandet.

Beskrivelse av oppdraget

Norges Bank søker 1–2 erfarne Data Engineers til modernisering og videreutvikling av bankens data- og analyseplattform.

Dagens dataplattformer moderniseres gjennom etableringen av en ny skybasert plattform i Microsoft Azure, med Databrickssom sentral teknologi for databehandling, analyse og maskinlæring.

Eksisterende løsninger skal bygges på nytt på den nye plattformen for å unngå å videreføre teknisk gjeld og datagjeld. Løsningen omfatter rundt 100 integrasjoner og 450 datasett, som benyttes til økonomiske modeller, statistikk og analyser av rundt 200 brukere.

Rollen samarbeider tett med Data Reliability Engineering-teamet om standardisering, automatisering, observability, AI-støttet utvikling og kontinuerlig forbedring av plattformen.

Ansvar og arbeidsoppgaver

Du vil blant annet:

Innhente data fra interne og eksterne datakilder ved hjelp av blant annet Azure Data Factory og Python.

Vaske, transformere og klargjøre data ved hjelp av Python.

Tilgjengeliggjøre data etter prinsipper for medallion- og lakehouse-arkitektur.

Sikre teknisk kvalitet på data og datapipelines.

Arbeide med historisering og versjonering av data.

Administrere databaser, tabeller og skjemaer.

Arbeide med automatisert testing og monitorering av datapipelines.

Veilede og samarbeide tett med analytikere og andre brukere av data.

Omsette brukerbehov til tekniske løsninger som skaper konkret verdi.

Benytte moderne AI-assistenter aktivt i utviklingsarbeidet.

Vi ser etter kandidater med minimum 3 års relevant erfaring, og helst 5 år eller mer, innen data engineering og moderne skybaserte dataplattformer.

Det er særlig relevant med erfaring innen:

Utviklingsmetodikk og rammeverk for data engineering.

Datamodellering, inkludert relasjonsmodeller, stjerneskjema, fakta og dimensjoner.

Historisering og versjonering av data.

Database-, tabell- og schemaadministrasjon.

CI/CD, versjonskontroll og strukturerte utviklingsløp.

Databricks, Delta Lake og Apache Spark.

Design og implementering av lakehouse-, data warehouse- eller medallion-arkitekturer.

Ytelsesoptimalisering og kostnadseffektiv databehandling.

Kandidaten bør ha god forståelse for hvordan blant annet Parquet og Delta Lake påvirker:

Spørringsoptimalisering.

Forståelse av statistiske metoder og maskinlæring for analyse av tidsserier, eksempelvis økonomiske indikatorer, markedsdata eller andre observasjoner over tid, er også relevant.

Det er særlig ønskelig med kompetanse innen:

AI som del av utviklingsarbeidet

Det er også ønskelig at konsulentene bidrar til å øke AI-kompetansen blant både utviklere og sluttbrukere.

Løsningsorienterte.

Bruker- og produktorienterte.

Gode til å samarbeide på tvers av team, roller og fagområder.

I stand til å kombinere solid teknisk kompetanse med forståelse for brukernes behov.

Bli en del av Omega 365 Consulting for:

Tett og personlig oppfølging fra våre dedikerte Omega 365-teammedlemer

Du får jobbe med et av de mest velrennomerte konsulentselskapene i Norge

Veiledning fra erfarne avdelingsledere som hjelper deg med å bygge god prosjektkompetanse

Konkurransedyktig kompensasjon og forsikringsordninger

Svært attraktivt velferdstilbud med feriehus og hytter på Hovden, Hemsedal, Geilo, Hafjell, Oppdal, Voss, Vågsli, Sirdal, Gran Canaria og Thailand

Bredt utvalg av arrangementer, som konserter og turer til spennende destinasjoner i Norge og utland. Vi annonserer nye attraktive turer til våre ansatte hvert år