Bakgrund
Svensk NLP genomgår just nu ett transformativt genombrott i och med utvecklandet av storskaliga svenska språkmodeller. Dessa modeller har kapacitet att avsevärt förbättra prestandan för i stort sett alla typer av språkteknologiska tillämpningar för svenska språket. Eftersom algoritmer och implementationer är allmänt tillgängliga finns det redan flera svenska modeller färdiga och fler är på gång under 2020. Modellerna kommer få bred spridning och kommer användas för att bygga språkteknologiska tillämpningar inom akademin såväl som inom privat och offentlig sektor.
I dag saknas dock utvärderingsdata för svenska, vilket gör det omöjligt att bedöma kvaliteten hos de modeller som nu utvecklas. Tidigare studier på engelska språkmodeller visar också att modellerna är känsliga för vilken data de tränas på: de fördomar som finns i träningsdata överförs till modellerna. Utan svensk utvärderingsdata omöjliggörs kvalitetsutveckling av svenska språkmodeller liksom förmågan att medvetandegöra och/eller motverka fördomar inbyggda i modellerna.
Projektbeskrivning
RISE, Kungliga biblioteket (KB), Språkbanken Text samt AI Sweden gör därför en gemensam insats för att ta fram svenska utvärderingsmängder för språkmodeller. Utvärderingsmängderna ska modelleras efter väletablerade och vetenskapligt utvärderade engelska förlagor, t.ex. (Super)GLUE. För utvärdering av den första generationens språkmodeller för svenska språket som nu tas fram av bland andra KB och RISE, utvecklas därför en svensk motsvarighet av (Super)GLUE, med flera av de utvärderingsuppgifter som finns med i den engelska förlagan.
Institut/organisationer
RISE, Kungliga biblioteket (KB), Språkbanken och AI Sweden.
