statementSaid on 2026-11-05
In the Effective Rank metric, regular MTP training collapsed the output matrix from 496 to 131, while Soft-MTP kept it high and stable at 437.
A statement by post author, said on 2026-11-05. Statements are as reported by the cited publishers — not verified by DecisionGateway.
במדד דרגה אפקטיבית (Effective Rank) שבודק כמה ממדים במטריצה באמת פעילים, אימון MTP רגיל ריסק את המטריצה מ-496 ל-131 (קריסת ממדים מפוארת), בעוד ש-Soft-MTP שמר אותה גבוהה ויציבה על 437.