statementSaid on 2026-11-05
Soft-MTP obtains the same gradient for free by a simple subtraction between gradients already computed, instead of computing KL from scratch (which requires a lot of memory).
A statement by post author, said on 2026-11-05. Statements are as reported by the cited publishers — not verified by DecisionGateway.
כאן נכנס הקסם ההנדסי של Soft-MTP: במקום לחשב KL מאפס (הרבה זכרון), החוקרים גילו שאפשר לקבל את אותו גראדיאנט בחינם על ידי חיסור פשוט בין הגראדיאנטים שממילא חישבנו.