• Evaluere språkmodeller, enkoder- og embedding-modeller, samt RAG- og agentbaserte systemer, ved bruk av relevante måleparametere, benchmarker, evalueringsrammeverk og reproduserbare oppsett.
• Forberede, kvalitetssikre og vedlikeholde datasett for pretrening, finjustering og modellevaluering.
• Utvikle, trene, finjustere og tilgjengeliggjøre modeller for norske og samiske språkressurser og nedstrømsoppgaver.
• Bygge og vedlikeholde evalueringspipeliner, topplister og rettferdige rangeringsmetoder for modeller og systemer.
• Orkestrere evaluerings- og modellutviklingsoppgaver på HPC-systemer, særlig Olivia og LUMI, inkludert Slurm-baserte arbeidsflyter.
  
• Dokumenter metoder, resultater, feilkilder og begrensninger, og bidra til vitenskapelige publikasjoner, tekniske rapporter og åpen kildekode der det er relevant.
• Samarbeide tett med forskere, utviklere, fageksperter og andre fagmiljøer både innenfor og utenfor Nasjonalbiblioteket i Norge.

Vi ser etter kandidater med utdanning tilsvarende minst en mastergrad i informatikk, språkteknologi, maskinlæring, kunstig intelligens, datavitenskap eller et beslektet fagområde. Særlig relevant arbeidserfaring kan i noen grad kompensere for utdanningskravet, forutsatt at kompetansen er godt dokumentert.

• Svært gode ferdigheter i Python, samt god erfaring med Git/GitHub, Linux, Bash og SSH
• Solid forståelse av transformatorarkitekturer, representasjonslæring, store språkmodeller (LLM-er), dekoder- og enkodermodeller, embeddingmodeller, samt relevante matematiske og statistiske metoder
• Erfaring med Hugging Face-økosystemet, inkludert arbeid med datasett, modellkort, reproduserbare eksperimenter og dokumentasjon av evalueringsresultater
• Erfaring med Docker og Apptainer/Singularity
• Erfaring med Slurm og andre orkestreringsverktøy for arbeidsflyter, samt praktisk arbeid på HPC-plattformer. Erfaring fra Olivia (Norge), LUMI (Finland) og EuroHPC-nettverket er en fordel
• Relevant erfaring fra lignende arbeid er et krav og må dokumenteres

Spesifikke krav – stilling 1: LLM-er, evaluering og topplister
For denne stillingen kreves dokumentert erfaring med evaluering av LLM-er og/eller agentbaserte systemer. Kandidaten må kunne arbeide selvstendig med valg, implementering og tolkning av måleparametere og evalueringsoppsett.

• God kunnskap om evalueringsmetoder for LLM-er, inkludert hvilke måleparametere som benyttes, hvordan de implementeres, deres styrker og svakheter, alternative metoder og når de bør brukes
• Erfaring med evalueringsrammeverk og benchmarks for norsk, særlig NorEval og lm-eval-harness for dekodermodeller, inkludert instruksjonsjusterte modeller og resonnementsmodeller
• Erfaring med etablering, vedlikehold og kvalitetssikring av topplister, inkludert rettferdig rangering av modeller og håndtering av sammenlignbarhet, datalekkasjer og evalueringsskjevheter
• Erfaring med orkestrering av evalueringsoppgaver på HPC-systemer; erfaring med Olivia og LUMI er en forutsetning

Spesifikke krav – stilling 2: Enkoder-, RAG- og embeddingmodeller
For denne stillingen kreves dokumentert erfaring med enkodermodeller, informasjonsgjenfinning, embeddingmodeller og RAG-systemer. Stillingen har særlig vekt på evaluering av enkodermodeller, men omfatter også utvikling av slike løsninger.

• Solid erfaring med evaluering av enkodermodeller, inkludert måleparametere, datasett, referansepunkter og analyse av styrker og begrensninger
• Kunnskap om EuroEval og andre evalueringssystemer for enkoder-baserte modeller
  
• Erfaring med utvikling og evaluering av RAG-systemer og embeddingmodeller for informasjonsgjenfinning
  
• Erfaring med datasettforberedelse til pretrening og evaluering, inkludert kuratering, hard negativ sampling, deduplisering, kvalitetssikring og dokumentasjon
  
• Erfaring med pretrening og påfølgende finjustering av modeller for nedstrømsoppgaver
  
• Erfaring med utvikling av hentemodeller og modeller kompatible med Sentence Transformers eller tilsvarende rammeverk
• Erfaring med praktisk implementering av søk, evaluering av gjenfinningskvalitet og analyse av feilkilder i RAG- og embeddingbaserte systemer

• Strukturert, presis og kvalitetsbevisst.
• Gode samarbeidsevner og evnen til å dele kunnskap i tverrfaglige miljøer.
• Evne til å kommunisere tydelig om språk- og teknologispørsmål, evalueringsmetodikk og modellbegrensninger.
• Evne til å arbeide selvstendig og effektivt med komplekse tekniske oppgaver.
• Personlig egnethet vil bli vektlagt.

Sikkerhetskrav
Stillingene krever at du oppfyller organisasjonens krav til personellsikkerhet. Kravene for disse stillingene tilsvarer sikkerhetsklarering og autorisasjon på HEMMELIG (SECRET)-nivå.

• To faste stillinger lokalisert i Oslo.
  
• Lønn i stillingskode 1087 (overingeniør). Aktuelt lønnsspenn for disse stillingene er for tiden 580 000–725 000 kroner, avhengig av kvalifikasjoner, kompetanse og erfaring. Høyere lønn kan vurderes for spesielt kvalifiserte søkere.
  
• Fleksibel arbeidstid og betalt overtid.
• Sommertid og betalt lunsjpause (7 t sommer,  7 t 45 m vinter)
• Medlemskap i Statens pensjonskasse
• Nasjonalbiblioteket er en IA-virksomhet