SloBERTa je veliki jezikovni model za slovenščino, zasnovan na arhitekturi BERT (Bidirectional Encoder Representations from Transformers). Gre za model, ki se uči iz velikih količin besedil in razume jezik na način, da upošteva kontekst besed v stavku. Uporaben je za različne naloge obdelave naravnega jezika, kot so razumevanje besedil, razvrščanje, prepoznavanje entitet in iskanje informacij. Učni korpusi zaobsegajo 3,47 milijarde členov.