Panel o evalvacijskih testih na konferenci JT-DH 2026

/v , /Prispeval-a

V okviru konference Jezikovne tehnologije in digitalna humanistika 2026 je potekal panel Benchmarking Large Language Models for Slovenian: Methods, Challenges and Perspectives, na katerem so sodelovali dr. Simon Krek, dr. Špela Vintar in dr. Nikola Ljubešić.

Nikola Ljubešić je razložil, da z evalvacijskimi testi preverjamo, kako dobro jezikovni model opravlja določeno nalogo oziroma kako dobro razume določeno področje. Temelji na visokokakovostnih podatkih in vprašanjih, katerih pravilni odgovori oziroma rešitve niso javno dostopni.

Špela Vintar je izpostavila, da je večina testov anglocentrična, tako kot je velik del jezikovnih modelov razvit na podatkih v angleščini. To se lahko odraža tudi v njihovem znanju, vrednotah, pristranskostih in razumevanju kulturnega konteksta. Panelisti so se strinjali, da potrebujemo teste, prilagojene posameznim jezikom in njihovim kulturnim ter družbenim posebnostim.

Simon Krek je poudaril, da mora evalvacija modelov potekati kontinuirano, za kar potrebujemo tudi ustrezno platformo za evalvacijske podatke. Evalvacijski testi morajo postati del jezikovne infrastrukture. Ob tem pa je ključno, da poznamo naše družbene vrednote, testi pa morajo te odslikavati.