Регулаторите ви позволяват да прилагате санкции върху параметрите на слоя или активността на слоя по време на оптимизация. Тези наказания се сумират във функцията за загуба, която мрежата оптимизира. Санкциите за регулиране се прилагат за всеки слой.
Какво е регулатор на активността?
Регуляризаторът на активността работи като функция на изхода на мрежата и се използва най-вече за регулиране на скрити единици, докато weight_regularizer, както казва името, работи върху теглата (напр. кара ги да се разлагат).
Кога трябва да използвам регулатор на активност?
Ако искате изходната функция да премине през (или да имате прихващане по-близо до) началото, можете да използвате регулатора на отклонение. Ако искате изходът да е по-малък (или по-близо до 0), можете да използвате регулатора на активността.
Как да използвам Keras regularizer?
За да добавите регулатор към слой, просто трябва, за да предадете предпочитаната техника за регуляризация към аргумента на ключовата дума на слоя 'kernel_regularizer'. Методите за внедряване на регулаторизация на Keras могат да предоставят параметър, който представлява стойността на хиперпараметъра за регуляризация.
Какво е ядро и отклонение?
Dense class
Dense изпълнява операцията: изход=активиране (точка (вход, ядро) + отклонение), където активирането е функцията за активиране по елемент, предадена като аргумент за активиране, ядрото е матрица с тегла, създадена от слоя иbias е вектор на отклонение, създаден от слоя (приложимо само ако use_bias е True).
