Izziv 1: Izboljšanje metod velikih jezikovnih modelov z jezikovnimi viri in razvoj slikovno-jezikovnih modelov

Veliki jezikovni modeli za učenje in prilagajanje določenim nalogam potrebujejo velike količine visokokakovostnih besedilnih podatkov. Takšni podatki so lahko v pomoč pri predhodnem učenju velikih jezikovnih modelov, saj je z njimi možno pripraviti različne vrste podatkov, zlasti grafe znanja in neobdelano besedilo. Informacije, ki so na voljo v leksikografskih virih, vključujejo relacije, informacije o porazdelitvi pomenov z definicijami besednih pomenov, medjezikovne povezave, identifikacijo in opis idiomatskih ali frazemov itd.

Te zakladnice informacij veliki jezikovni modeli še ne uporabljajo ustrezno, vendar bi lahko zmanjšale halucinacije, izboljšale njihovo jezikovno znanje v zapletenih situacijah in jezikih, podprtimi z manj viri, ter izboljšale doučitve jezikovnih modelov za določene pomembne naloge, kot sta zdravorazumsko sklepanje in sklepanje v naravnem jeziku.

Aktivnost 1.1 Aktivnost 1.2 Aktivnost 1.3

Aktivnost 1.1: Izboljševanje velikih jezikovnih modelov z jezikovnimi podatki

Prvi cilj bo izboljšati velike jezikovne modele z enojezičnimi leksikografskimi podatki v obliki grafov znanja in neobdelanih besedil.

V okviru te naloge bo najprej razvita nova metodologija za pridobivanje grafov znanja iz enojezičnih jezikovnih virov znanja, kot so digitalne slovarske baze, primerne za morfološko bogate jezike. Nadalje bomo v okviru naloge razvili metode za ustvarjanje velikih količin neobdelanih besedil iz teh virov. Metodologija bo uporabljena za Digitalno slovarsko bazo za slovenščino (DSB), največji odprtodostopni leksikalni/leksikografski vir za slovenščino, in odprti slovenski WordNet (Čibej idr. 2023), ki je že povezan z DSB.

Kazalniki 1.1: Podatkovne zbirke DSB in OSWN, pripravljene za učenje (M6). Začetni izboljšani veliki jezikovni model (M12). Končni izboljšani veliki jezikovni modeli (M24).

*Aktivnost 1.**2: Izboljšanje velikega jezikovnega modela z medjezikovnimi podatki*

Velike količine večjezičnih in medjezikovnih jezikovnih podatkov v več jezikih ponujajo priložnost za izboljšanje velikih jezikovnih modelov z nadaljnjim predučenjem in doučitvami za posebne naloge. Z znanjem izboljšani večjezični veliki jezikovni modeli bodo boljši na splošno, še zlasti pa za jezike z vnesenimi večjezičnimi viri. Jezikovni modeli z več znanja bodo izboljšali medjezikovni prenos z doučitvijo in ustvarjanjem iztočnic, vključno z večjezičnim ustvarjanjem iztočnic. Takšen prenos je zelo pomemben za jezike z manj viri, kot je slovenščina.

Razvili bomo novo metodologijo za pridobivanje grafov znanja iz večjezičnih digitalnih slovarskih podatkovnih zbirk, kot so Wiktionary, BabelNet in drugi medjezikovni viri, kot so DBPedia in povezani WordNeti. Metodologija bo primerna za morfološko bogate jezike. Nadalje bomo v okviru naloge razvili metode za generiranje velikih količin neobdelanega besedila iz večjezičnih digitalnih slovarskih podatkovnih zbirk. Izluščene grafe znanja in neobdelana besedila bomo uporabili pri nadaljnjem pred učenju jezikovnih modelov za splošno rabo. Podatkovne zbirke za sledenje navodilom, ki bodo pripravljene v projektnih sklopih 2 in 5, bomo uporabili za prilagoditev jezikovnih modelov za posebne medjezikovne in večjezične jezikovne naloge.

Kazalniki 1.2: Grafi znanja in podatkovne zbirke neobdelanih besedil (M18). Začetni izboljšani veliki jezikovni model (M24). Končni izboljšani veliki jezikovni model (M30).

Aktivnost 1.3: Izboljšanje multimodalnih modelov

Multimodalni jezikovni modeli, kot so slikovno-jezikovni modeli, so za jezike z manj viri redki. Njihov razvoj je zahteven, saj so viri, ki omogočajo ujemanje različnih modalitet, zelo redki, njihovo pridobivanje s strojnim prevajanjem pa je večinoma neustrezno. Izziv je učinkovito razviti slikovno-jezikovne modele, ki podpirajo jezike in domene z manj viri, kot je slovenščina, pa tudi razviti metodologije za učinkovito usposabljanje slikovno-jezikovnih modelov z manj viri prek različnih metod za usklajevanje modalitet, kot so alternativne metode učenja za kontrastivno učenje (Radford et al., 2021), relativne predstavitve (Norelli et al., 2023) in nove metode za utemeljitev znanja ozadja.

Sestavili bomo nabor podatkov za izgradnjo slikovno-jezikovnega modela, in sicer nabor slikovno-jezikovnih podatkov, ki vsebuje slike s slovenskimi napisi. Pričakujemo, da bo odprtokodni nabor podatkov vseboval od 100 tisoč do 1 milijon parov slika-besedilo, kar je minimalna zahteva za uspešno usposabljanje modela. Nato bomo zgradili slikovno-jezikovni model za slovenščino, pri čemer se bomo osredotočili na učinkovite metode učenja modelov, kot so metode usklajevanja modalitet, kontrastivno učenje (Radford et al., 2021), relativne predstavitve (Norelli et al., 2023) in nove metode za utemeljevanje znanja iz ozadja.

Kazalniki 1.3: Slovenske podatkovne zbirke za učenje velikega slikovno-jezikovnega modela (M12). Slovenski slikovno-jezikovni model (M24).