{"id":928,"date":"2020-03-31T19:05:12","date_gmt":"2020-03-31T17:05:12","guid":{"rendered":"https:\/\/www.cjvt.starkmat.si\/template\/?page_id=928"},"modified":"2023-11-07T07:16:17","modified_gmt":"2023-11-07T06:16:17","slug":"projektni-sklop-2","status":"publish","type":"page","link":"https:\/\/www.cjvt.si\/povejmo\/projektni-sklopi\/rrp2-slollamai\/","title":{"rendered":"RRP2: SloLLaMai"},"content":{"rendered":"

Odprtodostopni ra\u010dunsko u\u010dinkoviti modeli za sloven\u0161\u010dino<\/h2>\n<\/div><\/section>
\n

SloLLaMai<\/h3>\n<\/div><\/section><\/p><\/div>\n

Izjemno veliki jezikovni modeli (ChatGPT in GPT-4) so v zadnjem \u010dasu za nekatere naloge pokazali izjemen napredek, a tudi \u0161tevilne prakti\u010dne ovire pri njihovem izkori\u0161\u010danju, kot so zaprtost in netransparentnost, visoke ra\u010dunske zahteve in visoka cena prilagoditev in \u0161ir\u0161e uporabe, ki je nedosegljiva za ve\u010dino raziskovalnih organizacij in podjetij. Nadaljnje pove\u010devanje teh modelov tako ni ve\u010d smiselno. Pojavili so se tudi bistveno manj\u0161i, odprtodostopni modeli, kot so LLaMA, Alpaca, GPT4All in Koala, ki jih je mo\u017eno nau\u010diti ali prilagoditi za posamezne naloge na povsem obi\u010dajnih GPU ra\u010dunalnikih in dosegajo enako ali skoraj enako kakovost delovanja kot najve\u010dji modeli. V projektu SloLLaMAi\u00a0bomo razvili odprtodostopen ra\u010dunsko u\u010dinkovit generativen jezikoven model za sloven\u0161\u010dino, ki bo prvi tak model za morfolo\u0161ko bogat jezik z malo viri, kar predstavlja velik raziskovalen izziv.\u00a0 Razviti novi veliki splo\u0161ni model bo predstavljal osnovno infrastrukturo za industrijske projekte in vse n0ve izdelke, ki bodo potrebovali obdelavo naravnega jezika. Predhodno razviti modeli (npr. SloT5, SloBERTa, CroSloEn BERT) so \u017ee omogo\u010dili izgradnjo tehnologij, ki jih pred nekaj leti za sloven\u0161\u010dino \u0161e ni bilo mo\u017eno razviti s primerljivo natan\u010dnostjo z ve\u010djimi jeziki (npr. strojno prevajanje, povzemanje, odgovarjanje na vpra\u0161anja) in teh tehnologij niti ne bi bilo mo\u017eno razviti, \u010de tak\u0161ni modeli za sloven\u0161\u010dino ne bi obstajali. Za razvoj naslednje generacije velikih jezikovnih modelov so potrebni rezultati prvega projekta (RRP1), da bo mogo\u010de pripraviti splo\u0161ne jezikovne modele, ki jih bo mo\u017eno specializirati za specifi\u010dne naloge obdelave naravnega jezika.<\/p>\n<\/div><\/section><\/div>\n

Specifi\u010dni cilji:<\/h3>\n
    \n
  1. Razvoj in izgradnja sodobnih, ra\u010dunsko u\u010dinkovitih velikih generativnih jezikovnih modelov tipa GPT (varianta LLaMa, Alpaca, Koala) in njihova prilagoditev za sledenje ukazom, dialo\u0161ko komunikacijo in slovenski jezik. Zgrajeni veliki modeli predstavljajo temeljno infrastrukturo za preostanek projekta in aplikativne projekte.<\/li>\n
  2. Izbolj\u0161ava modelov z vstavljanjem dodatnega znanja v zgrajene velike generativne jezikovne modele za izbolj\u0161avo logi\u010dnega sklepanja, zdravorazumskega sklepanja, jezikovnih in morfolo\u0161kih posebnosti slovenskega jezika ter upo\u0161tevanje eti\u010dnih in pravnih norm.<\/li>\n
  3. Prilagoditev velikih jezikovnih modelov za ra\u010dunsko nizko zmogljive naprave in industrijske aplikacije; raziskava mo\u017enosti kompresije in destilacije velikih jezikovnih modelov, kvantizacije in pribli\u017enega ra\u010dunanja z upo\u0161tevanjem morfolo\u0161ke bogatosti naslovljenega jezika.<\/li>\n<\/ol>\n<\/div><\/section><\/div>\n

    Rezultati:<\/h3>\n