Gradientu pastiprināšanas algoritmu salīdzinājums un mainīgo būtiskuma analīze

2020

Šajā darbā tiek izpētīti un salīdzināti trīs no jaunākiem un plaši izmantotiem gradienta pastiprināšanas algoritmiem - XGBoost, LightGBM un CatBoost. Šie algoritmi tiek salīdzināti pēc to ātrdarbības, kā arī tendences uz pārpielāgošānos treniņa datiem. Tiek analizēta arī šo algoritmu spēja izmantot modelēšanā kategoriskus mainīgos. Papildus tiek izpētīti algoritmu hiperparametri un to ietekme uz algoritma pārpielāgošanos un modeļa precizitātes rādītājiem. Balstoties uz rezultātiem, tiek sniegti ieteikumi par hiperparametru skaņošanu. Otrajā eksperimenta daļā tiek izpētīta uz spēļu teorijas Šaplī vērtību balstītā metode mainīgo būtiskuma noteikšanai. Iegūtiem rādītājiem ar būtstrapa metodes …