{"id":1501,"date":"2025-04-28T14:22:10","date_gmt":"2025-04-28T12:22:10","guid":{"rendered":"https:\/\/www.cjvt.si\/llm4dh\/?p=1501"},"modified":"2025-05-15T12:36:26","modified_gmt":"2025-05-15T10:36:26","slug":"behind-the-scenes-of-developing-spell-and-grammar-correction-llm-for-slovenian-combining-authentic-and-synthetic-data","status":"publish","type":"post","link":"https:\/\/www.cjvt.si\/llm4dh\/blog\/behind-the-scenes-of-developing-spell-and-grammar-correction-llm-for-slovenian-combining-authentic-and-synthetic-data-2\/","title":{"rendered":"Zakulisje razvoja velikega jezikovnega modela za popravljanje \u010drkovanja in slovnice za sloven\u0161\u010dino: kombinacija avtenti\u010dnih in sinteti\u010dnih podatkov"},"content":{"rendered":"

Zakulisje razvoja velikega jezikovnega modela za popravljanje \u010drkovanja in slovnice za sloven\u0161\u010dino: kombinacija avtenti\u010dnih in sinteti\u010dnih podatkov<\/b><\/h1>\n<\/div><\/section><\/div>\n

Avtorja: dr. \u0160pela Arhar Holdt in Ga\u0161per Jelov\u010dan<\/b><\/h3>\n<\/div><\/section>
\n

V \u010dlanku so na kratko predstavljene metode in izto\u010dnice, ki jih uporabljamo pri razvoju velikih jezikovnih modelov za pravopisno in slovni\u010dno popravljanje v sloven\u0161\u010dini.<\/strong><\/em><\/h4>\n<\/div><\/section><\/p><\/div>\n

Sloven\u0161\u010dina je z dvema milijonoma govorcev dober primer jezika z manj viri. Kaj pa sploh pomeni, da ima jezik manj virov? Gre za jezik z omejeno digitalno, izobra\u017eevalno in\/ali institucionalno podporo v primerjavi s \u0161iroko uporabljenimi in dobro dokumentiranimi jeziki, kot je angle\u0161\u010dina (Laumann, 2022).<\/p>\n

To predstavlja velik izziv za razvoj velikih jezikovnih modelov, ki temeljijo na velikih koli\u010dinah visokokakovostnih u\u010dnih podatkov. V nasprotju z velikimi jeziki z obse\u017enimi podatkovnimi zbirkami ima sloven\u0161\u010dina omejene jezikovne vire, kar ote\u017euje u\u010denje modelov za naloge, kot sta popravljanje \u010drkovanja in slovnice (Arhar Holdt et al., 2025).<\/p>\n

Pri razvoju podatkov za velike jezikovne modele, namenjene popravljanju pravopisa in slovnice, za sloven\u0161\u010dino smo se oprli na ugotovitve iz slovenskega razvojnega korpusa \u0160olar 3.0 (Arhar Holdt in Kosem, 2024). V njem je bilo identificiranih 180 razli\u010dnih vrst najbolj zna\u010dilnih jezikovnih napak v sloven\u0161\u010dini. Ocenili smo, da bi za podatkovno zbirko potrebovali vsaj 50 primerov vsake vrste napake, torej skupaj okoli 10.000 primerov.<\/p>\n

Da bi dosegli to \u0161tevilo, bomo zdru\u017eili tako sinteti\u010dne kot avtenti\u010dne podatke.<\/p>\n<\/div><\/section><\/div>\n

Uporaba avtenti\u010dnih jezikovnih podatkov<\/h3>\n<\/div><\/section>
\n

Naj omenimo tri vire jezikovnih popravkov za sloven\u0161\u010dino: korpus \u0160olar, ki vsebuje besedila osnovno\u0161olcev in srednje\u0161olcev skupaj z u\u010diteljskimi popravki (Kosem idr., 2016), korpus Lektor, ki vsebuje besedila odraslih maternih govorcev skupaj z lektorskimi popravki (Popi\u010d, 2014), in korpus KOST z besedili u\u010dencev sloven\u0161\u010dine kot drugega\/tujega jezika (Stritar Ku\u010duk, 2022).<\/p>\n

Poleg tega referen\u010dni korpus pisne sloven\u0161\u010dine Gigafida 2.0 (Krek et al., 2020) vsebuje veliko \u0161tevilo avtenti\u010dnih zgledov, ki jih lahko uporabimo pri pripravi podatkovne mno\u017eice. V ta avtenti\u010dni jezik iz Gigafide 2.0 lahko nato ro\u010dno dodamo napake, npr. s spreminjanjem velikih \u010drk v male, da bi dobili ve\u010d primerov besedila z napakami.<\/p>\n

Za pridobitev \u010dim ve\u010d avtenti\u010dnih primerov iz teh korpusov bomo uporabili korpusnojezikovne pristope. V drugem koraku jih bomo uporabili za ustvarjanje dodatnih primerov.<\/p>\n<\/div><\/section><\/p><\/div>\n

<\/div><\/div><\/div>
\n

Delavnica ustvarjanja izto\u010dnic, ki povezuje strokovnjake s podro\u010dja ra\u010dunalni\u0161tva in leksikografije.<\/span><\/p>\n<\/div><\/section><\/p><\/div>\n

Generiranje sinteti\u010dnih podatkov<\/b><\/h3>\n<\/div><\/section>
\n

Pri tem delu naloge se bomo oprli na \u017ee obstoje\u010de velike jezikovne modele, kot sta ChatGPT in Gemini. S skrbno oblikovanimi izto\u010dnicami bomo ustvarili sinteti\u010dno podatkovno zbirko. Izto\u010dnice bomo vnesli v ChatGPT in Gemini, ki bosta nato generirala primere slovenskih besedil s slovni\u010dnimi in pravopisnimi napakami. Generirani podatki bodo slu\u017eili kot osnova za u\u010denje modela za popravljanje.<\/p>\n

Organizirali smo tudi manj\u0161o delavnico ustvarjanja izto\u010dnic, na kateri so sodelovali strokovnjaki s podro\u010dja ra\u010dunalni\u0161tva in leksikografije. Njihov cilj je bil oblikovati izto\u010dnice, ki bi generirale dodatne primere slovni\u010dnih in pravopisnih napak. Te bomo nato uporabili za u\u010denje velikega jezikovnega modela za preverjanje slovnice in pravopisa.<\/p>\n

Tu je nekaj idej z delavnice:<\/p>\n<\/div><\/section>
\n