6533b86efe1ef96bd12cae84
RESEARCH PRODUCT
Dabiskās Valodas Dziļo Neironu Tīklu Ģeneratora GPT-2 Sniegums Latviešu un Angļu Valodā
Anete Albertesubject
Datorzinātnedabiskās valodas apstrādeneironu tīklsGPT-2 modelisTransformer modelisdescription
Darbs ir veltīts dabiskās valodas apstrādes tēmas un modeļa GPT-2 izpētei un tā snieguma novērtēšanai angļu valodā, kā arī pielāgota valodas modeļa realizēšanai un apmācībai tekstu ģenerēšanai arī latviešu valodā. GPT-2 ir liels dabiskās valodas apstrādes modelis, kas ir paplašināts no GPT modeļa, daudzkārt palielinot modeļa parametru skaitu un apmācot to uz vairāk treniņa datiem. GPT-2 modeļa apmācībai izmantots valodas korpuss no interneta mājaslapu tekstiem, atšķirībā no GPT modeļa, kura apmācībai izmantots valodas korpuss no grāmatu tekstiem. Šis modelis ir radīts ar mērķi paredzēt nākamo vārdu, ņemot vērā iepriekš esošos vārdus konkrētā tekstā. Apstrādājot iepriekš dotu tekstu, ar GPT-2 modeli ir iespējams ģenerēt teksta turpinājumus, pielāgojoties esošā teksta valodas stilam un tā saturam. Šis darbs satur dabiskās valodas apstrādes pieeju aprakstu, neironu tīklu darbības principu un to veidus, Transformer un GPT-2 modeļu aprakstu, oriģinālā GPT-2 modeļa snieguma novērtēšanu angļu valodā, kā arī pielāgota valodas modeļa apmācīšanu latviešu valodā un ar to iegūto tekstu paraugu novērtēšanu. Šajā darbā izvirzītie mērķi ir novērtēt modeļa sniegumu angļu valodā un apmācīt pielāgotu modeli latviešu valodai. Atslēgvārdi: neironu tīkls, dabiskās valodas apstrāde, Transformer modelis, GPT-2 modelis.
| year | journal | country | edition | language |
|---|---|---|---|---|
| 2021-01-01 |