Erfaren systemutvecklare till Data Lake-plattform (K 2026-5567)
Typ av jobb: Konsult
Referensnummer: K 2026-5567
Roll: Erfaren systemutvecklare till Data Lake-plattform
Uppdragets längd: 2026-07-01 till och med 2027-06-30 (option på förlängning till 2027-12-31).
Beskrivning: Vi söker nu en underkonsult som kan ta sig an rollen som Systemutvecklare till Data Lake-plattform till Karolinska universitetssjukhuset.
Beställaren söker en erfaren Data Engineer och Systemutvecklare för att färdigställa och vidareutveckla Karolinskas Data Lake-plattform och forskningsinfrastruktur. Uppdraget omfattar utveckling av datapipelines, integrationer och data processing services som stödjer vårdens och forskningens behov av tillgänglig, strukturerad och kvalitetssäkrad data. Arbetet är en central del i att möjliggöra Karolinskas mål om bättre vård genom datadrivna arbetssätt.
Uppdraget är i en aktiv och kritisk utvecklingsfas. Konsulten förväntas ha förmåga att omedelbart ta ägarskap över befintlig arkitektur och pågående implementation utan behov av längre introduktionstid. Plattformen bygger på en komplex teknisk stack med metadatadriven ETL-design, Apache Iceberg open table format, PII-anonymisering av känslig klinisk data samt OpenShift-baserad infrastruktur. Djup förståelse för dessa tekniker är en förutsättning för att upprätthålla kontinuitet och leveranskvalitet i uppdraget.
I arbetsuppgifterna ingår att:
- Färdigställa och vidareutveckla det metadatadrivna ETL-pipeline-ramverket för forskningsplattformen
- Säkerställa korrekt hantering och anonymisering av känslig klinisk data i enlighet med gällande regelverk
- Förvalta och vidareutveckla Data Lake-arkitekturen baserad på Apache Iceberg, Spark och Trino
- Bygga och förvalta integrationer mot kliniska källsystem och databaser
- Säkerställa kodkvalitet och robusta lösningar genom testdriven utveckling, kodgranskning och automatisering
- Arbeta nära övriga utvecklare, produktägare och arkitekter för att skapa skalbara och hållbara lösningar på OpenShift
Notera att CV ska vara skrivet på svenska.
Konsulten ska ha:
- Mycket goda kunskaper i svenska i både tal och skrift
- Akademisk examen inom datavetenskap, systemutveckling eller motsvarande dokumenterad erfarenhet.
- Minst 5 års erfarenhet av systemutveckling med Python som huvudspråk, med fokus på datapipelines, backend-tjänster och systemintegration.
- Minst 3 års erfarenhet av event-driven arkitektur och async message handling med Kafka, RabbitMQ eller motsvarande.
- Minst 3 års erfarenhet av arbete med containerplattformar (Kubernetes/OpenShift) och CI/CD-lösningar (t.ex. Jenkins, Bamboo eller GitLab CI).
- Dokumenterad erfarenhet av Apache Iceberg eller Delta Lake som open table format i en produktionsmiljö.
- Dokumenterad erfarenhet av metadatadriven ETL-design och pipeline-ramverk i produktionsmiljö.
- Dokumenterad erfarenhet av PII-anonymisering, kryptering eller hashing av känslig klinisk data i enlighet med regulatoriska krav i produktionsmiljö.
- Dokumenterad erfarenhet av Trino eller motsvarande distributed SQL query engine mot Data Lake i produktionsmiljö.
Konsulten ska ha:
- Erfarenhet av att utveckla datapipelines eller data processing services som hanterar stora datamängder mot Data Lake-tekniker (t.ex. Apache Spark, Apache Iceberg eller Delta Lake) i en offentligfinansierad vård- eller forskningsverksamhet.
- haft självständigt ansvar för att designa och implementera Data Lake-arkitektur med open table formats (t.ex. Apache Iceberg eller Delta Lake), inklusive storskalig databehandling och hantering av känslig klinisk data i offentligfinansierad vård- eller forskningsverksamhet.
- erfarenhet av att implementera, konfigurera och använda monitoring, logging och alerting för övervakning av produktionsmiljö, exempelvis med verktyg som Datadog, CloudWatch eller motsvarande
- haft självständigt ansvar för att designa och implementera ett test- och quality assurance-ramverk för datapipelines i produktionsmiljö. Detta innefattar etablering av automatiserad testning, teststrategier, datavalidering och kodkvalitetstester för databearbetande system. Relevant erfarenhet omfattar design och implementering av testramverk med verktyg som pytest, Robot Framework, dbt testing eller motsvarande, där konsulten självständigt har drivit teststrategin för ETL/ELT-pipelines eller data processing services.
- erfarenhet av att implementera säkerhetslösningar för system som hanterar känslig data, exempelvis secrets management, PII-anonymisering, audit logging eller åtkomstkontroller i produktionsmiljö.
- haft självständigt ansvar för att designa och implementera säkerhetslösningar för system som hanterar känslig data, exempelvis secrets management, PII-anonymisering, audit logging eller åtkomstkontroller med tydlig koppling till regulatoriska krav och spårbarhet i produktionsmiljö