Cilji
Industrijske raziskave in eksperimentalni razvoj
Cilji RRI programa so razdeljeni v dve skupini: 1. cilji, povezani z industrijskimi raziskavami (TRL 3-4) ter cilji, povezani z eksperimentalnim razvojem (TRL 5-6).
Cilji industrijskih raziskav temeljijo na najnaprednejših tehnologijah umetne intelligence – velikih jezikovnih modelih, ki jih bomo izboljšali z dodatnim znanjem in specializiranimi učnimi množicami ter prilagodili za večjo računsko učinkovitost, prepoznavanje govora, industrijsko rabo in slovenski jezik.
Cilji eksperimentalnega razvoja se nanašajo na uporabo razvitih in prilagojenih velikih jezikovnih modelov ter prepoznavalnikov govora v konkretnih industrijskih aplikacijah: v medicini, industriji, humanistiki in pri generiranju kode za računalniško infrastrukturo.
Veliki jezikovni modeli
Projekt naslavlja velike jezikovne modele, ki trenutno vplivajo na skoraj celotno področje umetne inteligence in strojnega učenja, pomembno pa zadevajo številna druga področja in celotno družbo. Razviti novi, prostodostopni, računsko učinkoviti jezikovni modeli bodo osnova za napredne aplikacije v medicini, humanistiki, industrijskem okolju in pri razvoju programske opreme. Raziskave bodo prinesle številne vrhunske raziskovalne rezultate, ki jih v nadaljevanju opišemo najprej za nivoje TRL 3-4 in nato še nivoje TRL 5-6.
Infrastruktura za umetno inteligenco
Za razvoj učnih množic za velike jezikovne modele bomo razvili jezikovnotehnološki cevovod, ki bo obstoječe velike jezikovne modele uporabil za generiranje začetnih verzij učne množice, ki bodo naknadno izboljšane s človeškimi označevalci. Tovrsten cevovod še ne obstaja, pomeni pa bistveno pohitritev zajema človeškega znanja za uporabo v umetni inteligenci. Rabo cevovoda bomo demonstrirali na štirih pomembnih področjih.
Zgrajeni prostodostopni veliki generativni jezikovni modeli in njihova prilagoditev za sledenje ukazom, dialoško komunikacijo in slovenski jezik predstavlja temeljno infrastrukturo za aplikacije umetne inteligence v slovenščini. Že trenutni veliki jezikovni modeli, ki smo jih zgradili v preteklih raziskavah, so poželi veliko zanimanje z več tisoč prenosov mesečno z repozitorija HuggingFace. Na njih temeljijo številne jezikovnotehnološke aplikacije v več jezikih. Pričakujemo, da bodo novi modeli še bistveno uspešnejši in bodo omogočili novo generacijo aplikacij umetne inteligence.
Vstavljanje znanja v velike jezikovne modele
Potencialno nezanesljivo in nerobustno delovanje ter halucinacije velikih jezikovnih modelov bomo naslovili z novimi metodami vstavljanja znanja in zunanjih virov. Predlagani pristopi bodo naslovili težave z logičnim sklepanjem, zdravorazumskim sklepanjem, jezikovnimi in morfološkimi posebnostmi slovenskega jezika ter z upoštevanjem etičnih norm. Rezultati bodo velike jezikovne modele izboljšali glede zanesljivosti delovanja, robustnosti in transparentnosti, tako za slovenščino kot za druge, morfološko bogate jezike.
Prilagoditve za nizko zmogljive naprave
Razvite prilagoditve velikih jezikovnih modelov za računsko nizko zmogljive naprave in industrijske aplikacije bodo nove pristope kompresije in destilacije velikih jezikovnih modelov, kvantizacije in približnega računanja prilagodile za morfološko bogate jezike. Ker je visoka računska zahtevnost velikih jezikovnih modelov pomembna ovira za njihovo rabo, bodo razviti novi modeli in načini za njihove prilagoditve odprli nove aplikativne možnosti v gospodarstvu in javnem sektorju.
Govorne tehnologije
Govorne tehnologije in govorni vmesniki bistveno izboljšajo uporabniško izkušnjo za mnoge interaktivne aplikacije. Predlagana nova metoda vključevanja velikih jezikovnih modelov v prepoznavo govora, temelječa na njihovi računski učinkovitosti, lahko bistveno izboljša kakovost prepoznave v šumnih okoljih, pri več govorcih in pri prepoznavanju nestandarnega jezika (npr. narečij). Ker bodo osnovni izboljšani modeli prepoznave govora prostodostopni, bo to omogočilo nove aplikacije v javnem sektorju in gospodarstvu. Razviti modeli bodo podpirali večjezikovne in multimodalne aplikacije, kar je dodatna novost z velikim aplikativnim potencialom.
Industrijske aplikacije
Za področje medicine razviti veliki jezikovni modeli in jezikovni vmesniki bodo izboljšali uporabniško izkušnjo, zmanjšali potreben čas zdravnikov in zdravstvenega osebja, izboljšali kakovost vnešenih rezultatov in zmanjšali neželjene napake. Novost razvite aplikacije bo imela pomemben vpliv na področje informacijskih rešitev v medicini in bo omogočila aplikacije nove generacije.
Za področje humanistike bodo razviti veliki jezikovni modeli in jezikovni vmesniki bistveno skrajšali čas priprave gradiv, omogočili večjo dostopnost gradiv in izboljšali uporabniško izkušnjo. Novost aplikacije bo pomembno vplivala na področje informacijskih rešitev v humanistiki in omogočila aplikacije nove generacije v muzejih.
V industriji, predvsem v šumnih proizvodnih okoljih, bo izboljšana prepoznava govora izboljšala komunikacijo človek/stroj. Izboljšave bodo omogočile drugačno ergonomijo glasovne komunikacije in integracijo govornih tehnologij v IT infrastrukturo, ker bo izboljšalo komunikacijo v šumnih okoljih in okoljih z nestandardno izgovorjavo in različnimi jeziki. To bo zmanjšalo čas uvajanja novih delavcev, zmanjšalo napake in povečalo varnost delovnih mest.
Za industrijo programske opreme prilagojene tehnologije računsko učinkovitih velikih jezikovnih modelov in novi označevalni cevovod bodo omogočili učinkovito izgradnjo novega jezikovnega modela za generiranje opisa računalniške infrastrukture v kodi. To bo povečalo robustnost in uporabnost produktov, ki uporabljajo te tehnologije in predstavljajo vzorec za inovativne aplikacije v industriji razvoja programske opreme.