statementSaid on 2026-11-05
When decomposing the standard MTP gradient (trained with standard Cross-Entropy), two opposing forces are hidden inside: a useful self-distillation signal and a residual noise component.
A statement by post author, said on 2026-11-05. Statements are as reported by the cited publishers — not verified by DecisionGateway.
כשפירקו את נוסחת הגראדיאנט הרגיל של ה-MTP (שמאומן עם פונקציית Cross-Entropy או CE סטנדרטית), הם גילן שמתחבאים בתוכו שני כוחות מנוגדים: