{"id":1183,"date":"2024-12-19T12:47:21","date_gmt":"2024-12-19T11:47:21","guid":{"rendered":"https:\/\/www.cjvt.si\/llm4dh\/?page_id=1183"},"modified":"2025-05-14T10:54:00","modified_gmt":"2025-05-14T08:54:00","slug":"cilj-6","status":"publish","type":"page","link":"https:\/\/www.cjvt.si\/llm4dh\/projektni-sklopi\/projektni-sklop-6\/","title":{"rendered":"Izziv 6: Evalvacija in razumevanje velikih jezikovnih modelov"},"content":{"rendered":"

Izziv 6: Evalvacija in razumevanje velikih jezikovnih modelov<\/strong><\/h1>\n<\/div><\/section><\/div>\n

Primerjalno testiranje je klju\u010dni instrument za merjenje in spremljanje uspe\u0161nosti velikih jezikovnih modelov, ki ves \u010das dobivajo nove razli\u010dice (Zhao et al. 2023). \u010ceprav imajo stati\u010dni primerjalni testi omejitve, med katerimi je najpomembnej\u0161a kontaminacija velikih jezikovnih modelov s podatki iz primerjalnih testov (Zhou et al. 2023), so \u0161e vedno najbolj izvedljiva re\u0161itev za spremljanje uspe\u0161nosti za jezike z manj\u0161im \u0161tevilom govorcev, za katere dinami\u010dne alternative, kot so arene velikih jezikovnih modelov (Chiang et al. 2024), niso primerne. Za bolj\u0161e razumevanje velikih jezikovnih modelov potrebujemo primerjalne teste, ki so bolj\u0161i pri merjenju vi\u0161jih ravni razumevanja, zlasti povezanih s kompleksnim izra\u017eanjem, figurativnim jezikom in govorjenim jezikom. Enako pomembno je odkrivanje pristranskosti v velikih jezikovnih modelih in neposredne razlage vedenja velikih jezikovnih modelov pri pomembnih nalogah.<\/p>\n<\/div><\/section><\/div>\n<\/div><\/div><\/div><\/div><\/div>

Aktivnost 6.1<\/span><\/span><\/span><\/span><\/a>Aktivnost 6.2<\/span><\/span><\/span><\/span><\/a>Aktivnost 6.3<\/span><\/span><\/span><\/span><\/a>Aktivnost 6.4<\/span><\/span><\/span><\/span><\/a>Letna poro\u010dila<\/span><\/span><\/span><\/span><\/a><\/div>
<\/span><\/span>\n

Aktivnost 6.1: Figurativni jezik in pragmati\u010dni ben\u010dmarki<\/em><\/strong><\/h3>\n<\/div><\/section>
\n
\n
\n

Figurativni jezik, ki vklju\u010duje metafore, ironijo in sarkazem, je pomembna zna\u010dilnost \u010dlove\u0161ke komunikacije. \u010ceprav veliki jezikovni modeli ka\u017eejo izjemne sposobnosti pri prilagajanju dolo\u010denemu slogu in ustvarjanju inovativnih metafor, je njihova razen razumevanja sarkazma in ironije \u0161e vedno nizka (Yakura 2024). Te\u017eave imajo tudi z razumevanjem ali detektiranjem posrednih pro\u0161enj in faux pasov (Strachan et al. 2024). Prav tako veliki jezikovni modeli bistveno zaostajajo za ljudmi pri svojih pragmati\u010dnih sposobnostih, kot so upo\u0161tevanje zunajjezikovnega konteksta, namenov govorca, predpostavk in implicitnih pomenov (Sravanthi et al. 2024). Glavna te\u017eava pri ocenjevanju zmo\u017enosti velikih jezikovnih modelov pri niansiranem razumevanju in tvorjenju jezika je pomanjkanje evalvacijskih mno\u017eic in primerjalnih testov. Na\u0161 cilj je vzpostaviti cevovod, ki bo olaj\u0161al evalvacijo in primerjavo modelov glede na figurativni jezik in pragmatiko.<\/p>\n

Sestavili in prilagodili bomo ve\u010d podatkovnih mno\u017eic ter vzpostavili cevovod primerjalnega testiranja za razumevanje figurativnega jezika, obravnavo pogovora, pragmati\u010dno sklepanje in asociativno vedenje velikih jezikovnih modelov. Za\u010deli bomo 1) s prepoznavanjem in razlago metafor ter primerjalnim testiranjem, ki bo potrjeno in dopolnjeno s \u010dlove\u0161kimi opombami. Podatkovna mno\u017eica bo vklju\u010devala veljavne in neveljavne parafraze in razlage, kar bo omogo\u010dilo evalvacijo v razli\u010dnih nastavitvah, npr. besedilno ujemanje, prepoznavanje in razlaga prenesenega jezika, odgovarjanje na vpra\u0161anja itd. Za razumevanje ironije in sarkazma bomo prilagodili in prevedli test metafore in sarkazma (Adachi et al. 2004). V primerjalni test pragmati\u010dnega razumevanja bomo vklju\u010dili implikacije, predpostavke in obvladovanje pogovora v skladu z Griceovimi maksimami ter jih preizkusili s pogovornimi umetnointeligen\u010dnimi chatboti (Sravanthi et al. 2024; Miehling et al. 2024). Nazadnje bomo s primerjalnim testom asociativnega vedenja in asociacijske razlage prilagodili podatkovno mno\u017eico asociacijskih razlag z datotekami WOW in WAX (Liu et al. 2022).<\/p>\n<\/div>\n<\/section>\n

\n
<\/div>\n<\/section>\n<\/div><\/section>
\n