კატეგორიული კროსენტროპია არის ზარალის ფუნქცია, რომელიც გამოიყენება მრავალკლასიანი კლასიფიკაციის ამოცანებში. ეს არის ამოცანები, სადაც მაგალითი შეიძლება მიეკუთვნებოდეს მხოლოდ ერთს მრავალი შესაძლო კატეგორიიდან და მოდელმა უნდა გადაწყვიტოს რომელი. ფორმალურად, ის არის შექმნილია იმისათვის, რომ რაოდენობრივად გამოავლინოს განსხვავება ორ ალბათობის განაწილებას შორის.
რატომ გამოვიყენოთ ჯვარედინი ენტროპია MSE-ის ნაცვლად?
პირველი, ჯვარედინი ენტროპია (ან softmax დაკარგვა, მაგრამ ჯვარედინი ენტროპია უკეთ მუშაობს) კლასიფიკაციისთვის MSE-ზე უკეთესი საზომია, რადგან გადაწყვეტილების ზღვარი კლასიფიკაციის ამოცანაში დიდია(რეგრესიასთან შედარებით). … რეგრესიის პრობლემებისთვის, თქვენ თითქმის ყოველთვის იყენებდით MSE-ს.
რა განსხვავებაა იშვიათ ჯვარედინი ენტროპიასა და კატეგორიულ ჯვარედინი ენტროპიას შორის?
ერთადერთი განსხვავება იშვიათ კატეგორიულ ჯვარედინი ენტროპიასა და კატეგორიულ ჯვარედინი ენტროპიას შორის არის ნამდვილი ეტიკეტების ფორმატი. როდესაც გვაქვს ერთი ეტიკეტის, მრავალკლასიანი კლასიფიკაციის პრობლემა, ეტიკეტები ურთიერთგამომრიცხავია თითოეული მონაცემისთვის, რაც ნიშნავს, რომ თითოეული მონაცემის ჩანაწერი შეიძლება მიეკუთვნებოდეს მხოლოდ ერთ კლასს.
როგორ განმარტავთ კატეგორიულ ჯვარედინი ენტროპიის დაკარგვას?
ჯვარედინი ენტროპია იზრდება, როდესაც ნიმუშის სავარაუდო ალბათობა განსხვავდება რეალური მნიშვნელობიდან. მაშასადამე, 0.05 ალბათობის პროგნოზირება, როდესაც რეალურ ეტიკეტს აქვს 1 მნიშვნელობა, ზრდის ჯვარედინი ენტროპიის დაკარგვას. აღნიშნავს სავარაუდო ალბათობას 0-დან 1-მდე ამ ნიმუშისთვის.
რატომ არის ჯვარედინი ენტროპია კარგი?
საერთო ჯამში, როგორც ვხედავთ, ჯვარედინი ენტროპია უბრალოდ მოდელის ალბათობის გაზომვის საშუალებაა. ჯვარედინი ენტროპია სასარგებლოა, რადგან მას შეუძლია აღწეროს რამდენად სავარაუდოა მოდელი და თითოეული მონაცემთა წერტილის შეცდომის ფუნქცია. ის ასევე შეიძლება გამოყენებულ იქნას პროგნოზირებული შედეგის აღსაწერად ნამდვილ შედეგთან შედარებით.
