Data Engineer

BESKRIVELSE AV OPPDRAGET Bankens dataprodukter skal bygges på nytt på ny dataplattform for å flytte til moderne løsninger bedre egnet for sentralisert styring, effektiv drift, ML og AI. Løsningen består av om lag 100 integrasjoner og 450 datasett som i dag benyttes til økonomiske modeller og analyser. Antall brukere er om lag 200. Moderniseringen er organisert som et prosjekt med en trinnvis implementering av virksomhetsprosesser. Prosjektet vil forvalte produksjonssatte løsninger i på ny dataplattform i prosjektperioden etter prinsippet «You build it, you run it». Dagens og ny dataplattform vil leve i parallell mens dagens plattform gradvis fases ut. Det vil være behov for integrasjoner mellom nye og eksisterende løsning i denne perioden. Til Ny data- og analyseplattform (NDP) har Norges Bank behov for bistand fra en konsulent i rollen som Data Engineer. Rollen skal bidra til å sikre stabil, sikker og skalerbar drift av plattformen gjennom teknisk arbeid med datainfrastruktur, produksjonssetting, automatisering, overvåking, feilhåndtering og datakvalitet. Rollen er operativ og teknisk. Du vil eierskap for tekniske prosesser samt arbeide hands-on med feilsøking, kode og automatisering, samtidig som du samarbeider tett med leveranseteam, sluttbrukere, plattformteam og Data Governance om drift og videreutvikling av plattformen. ANSVAR OG OPPGAVER Som Data Engineer vil du blant annet: Bidra til standardisering og beste praksis for utvikling, produksjonssetting, observability og drift av datapipelines på tvers av leveranseteamene.Utvikle og videreutvikle felles rammeverk, biblioteker, maler og verktøy som gjør det enklere for leveranseteamene å bygge robuste, skalerbare og forvaltbare dataløsninger, samt verktøy for å støtte self-service/mesh-arkitektur for sluttbrukere. Eie og videreutvikle driftsprosessen for dataplattformen, inkludert ansvarsfordeling, hendelseshåndtering, eskalering og kontinuerlig forbedring.Etablere og videreutvikle overvåking, logging, metrics og alerting, slik at feil og avvik oppdages tidlig og kan håndteres effektivt.Bidra til videreutvikling og operasjonalisering av bankens AI-strategi for dataplattformen, i samarbeid med relevante fagmiljøer innen plattform, sikkerhet, arkitektur og Data Governance.Bidra til å utvikle og implementere bankens retningslinjer for bruk av AI i utvikling, drift og analytisk arbeid, herunder krav til databehandling, tilgangsstyring, sporbarhet, kvalitetssikring og menneskelig kontroll.Evaluere, innføre og videreutvikle godkjente AI-baserte støtteverktøy for blant annet kodeutvikling, testing, dokumentasjon og feilsøking, samt etablere prosedyrer og maler for bruken.Etablere automatiserte kontroller og kvalitetssikring av AI-generert kode og konfigurasjon før produksjonssetting, i tråd med bankens sikkerhetskrav og godkjenningsprosesser.Identifisere og prøve ut relevante bruksområder for AI i utvikling og drift av dataplattformen, og vurdere nytte, kvalitet, risiko og kostnader før eventuell innføring.Definere, følge opp og forbedre sentrale mål for reliability og datakvalitet, som data freshness, completeness, correctness, tilgjengelighet, batchsuksessrate og MTTR.Automatisere operative oppgaver og utvikle løsninger som reduserer operasjonell risiko og behovet for manuell oppfølging.Utvikle robuste mekanismer for retry, restart, recovery og håndtering av avhengigheter og feil i datapipelines.Bidra til utvikling og forbedring av CI/CD, deployment og releaseprosesser for datapipelines og øvrige komponenter på dataplattformen.Oppdage og klassifisere produksjonshendelser, varsle riktig leveranseteam og eie koordineringen av hendelsesprosessen fra oppdagelse til avslutning.Lede postmortems og følge opp at læring og korrigerende tiltak omsettes i forbedringer av plattformen, felles rammeverk og arbeidsprosesser, slik at risikoen for tilsvarende hendelser reduseres.Analysere og forbedre ytelse, skalerbarhet, ressursbruk og kostnader i Databricks og Azure.Dokumentere felles rammeverk, tekniske avhengigheter, driftsrutiner, feilsøkingsprosedyrer og runbooks.Samarbeide tett med leveranseteam, plattformteam, Data Governance og andre fagmiljøer for å sikre robuste og forvaltbare løsninger. HOVEDKVALIFIKASJONER OG FERDIGHETER Kompetanser Erfaring med utvikling, videreutvikling og drift av dataplattformer, datapipelines eller datainfrastruktur som brukes i produksjon.God erfaring med Azure og Databricks, eller tilsvarende skybaserte data- og analyseplattformer.God forståelse av distribuerte databehandlingsprosesser, batch-prosessering, schedulering, avhengigheter og feilhåndtering.Praktisk erfaring med programmering og scripting, fortrinnsvis Python og SQL. Erfaring med gode prinsipper for strukturert kode og automatisert testing.Erfaring med overvåking og observability, eksempelvis Grafana, Azure Monitor, Prometheus eller tilsvarende.Erfaring med logging, metrics, alerting og praktisk feilsøking av produksjonsproblemer.Erfaring med CI/CD, automatiserte deployments og versjonskontroll.Erfaring med Infrastructure as Code og automatisering av infrastruktur og driftsoppgaver.God forståelse av prinsipper for robusthet, skalerbarhet, tilgjengelighet og operasjonell kvalitet i produksjonssystemer. Ønskelige kompetanser Erfaring med Azure-tjenester knyttet til dataplattformer, eksempelvis Azure Data Factory, Azure Storage, Azure SQL/PostgreSQL, Azure Monitor og Entra ID.Erfaring med Databricks Workflows/Jobs, Parquet, Delta Lake og Spark.Erfaring med Terraform eller tilsvarende Infrastructure as Code-verktøy.Erfaring med Azure DevOps, GitHub Actions eller tilsvarende verktøy for CI/CD og arbeidsflyt.Praktisk erfaring med AI-baserte utviklings- og støtteverktøy, inkludert kvalitetssikring av AI-generert kode, testing og integrasjon i etablerte utviklingsprosesser.Erfaring med å omsette AI-strategi og retningslinjer til tekniske kontroller, prosedyrer og arbeidsprosesser, gjerne i regulerte miljøer.Forståelse av risiko ved bruk av AI, herunder eksponering av sensitive data, feilaktige resultater og behov for sporbarhet og menneskelig kontroll.Erfaring med etablering og oppfølging av SLI, SLO og SLA for produksjonstjenester.Kjennskap til Site Reliability Engineering/Data Reliability Engineering og prinsipper som automatisering, error budgets, toil reduction, observability og blameless postmortems.Erfaring fra regulerte eller samfunnskritiske miljøer, eksempelvis finans, forsikring eller offentlig sektor.Kjennskap til DORA, ITIL eller tilsvarende rammeverk for operasjonell styring og hendelseshåndtering.Erfaring med datakvalitet, validering og automatisert kontroll av data.Kjennskap til ServiceNow eller tilsvarende verktøy for incident- og change management.Erfaring med tidsserier, statistikk eller andre datatyper og analyseområder som er relevante for sentralbankvirksomhet. Utdanning Relevant høyere utdanning, fortrinnsvis mastergrad, innen datateknologi, informatikk, matematikk, statistikk eller tilsvarende. Relevant erfaring kan kompensere for formell utdanning. PERSONLIGE EGENSKAPER Lagspiller som samarbeider godt med utviklere, plattformressurser, data engineers og andre fagmiljøer.Løsningsorientert og analytisk, med evne til å identifisere årsaken til komplekse tekniske problemer.Strukturert og i stand til å prioritere og arbeide effektivt ved produksjonshendelser og tidssensitive leveranser.Tar eierskap til problemer og følger dem gjennom fra identifisering til varig løsning.God erfaring med tverrfaglig samarbeid på tvers av team, roller og fagområder.Bruker- og produktorientert, med forståelse for at stabilitet, datakvalitet og forutsigbarhet er sentrale deler av produktet.Gode kommunikasjonsferdigheter på norsk og engelsk, både muntlig og skriftlig. LOKASJON Norges Bank, Bankplassen 2, Oslo VARIGHET PÅ OPPDRAGET (OG OPSJONER) Oppdragets varighet er fra snarest mulig etter tildeling, og til 31.12.2027. Norges Bank forbeholder seg rett til å forlenge oppdraget med 6 måneder + 6 måneder + 6 måneder. Intern søknadsfrist: 7,10