Категоричната кросентропия е функция на загуба, която се използва в задачи за класификация с няколко класа. Това са задачи, при които един пример може да принадлежи само към една от многото възможни категории и моделът трябва да реши коя. Формално той е предназначен за количествено определяне на разликата между две вероятностни разпределения.
Защо да използвате кръстосана ентропия вместо MSE?
Първо, кръстосаната ентропия (или softmax загуба, но кръстосаната ентропия работи по-добре) е по-добра мярка от MSE за класификация, защото границата на решението в задачата за класификация е голяма(в сравнение с регресията). … За проблеми с регресията почти винаги бихте използвали MSE.
Каква е разликата между рядката кръстосана ентропия и категоричната кръстосана ентропия?
Единствената разлика между рядката категорична кръстосана ентропия и категоричната кръстосана ентропия е форматът на истинските етикети. Когато имаме проблем с класификацията с един етикет и много класове, етикетите се изключват взаимно за всяка информация, което означава, че всеки запис на данни може да принадлежи само на един клас.
Как тълкувате категоричната кръстосана загуба на ентропия?
Кръстосана ентропия се увеличава, тъй като прогнозираната вероятност за извадка се отклонява от действителната стойност. Следователно, прогнозирането на вероятност от 0,05, когато действителният етикет има стойност 1, увеличава кръстосана загуба на ентропия. обозначава прогнозираната вероятност между 0 и 1 за тази извадка.
Защо кръстосаната ентропия е добра?
Като цяло, както виждаме, кръстосаната ентропия е просто начин за измерване на вероятността на модел. Кръстосаната ентропия е полезна, тъй като може да опише колко вероятен е моделът и функцията за грешка на всяка точка от данни. Може също да се използва за описване на прогнозиран резултат в сравнение с истинския резултат.
