statementSaid on 2026-11-05

Soft-MTP obtains the same gradient for free by a simple subtraction between gradients already computed, instead of computing KL from scratch (which requires a lot of memory).

A statement by post author, said on 2026-11-05. Statements are as reported by the cited publishers — not verified by DecisionGateway.

כאן נכנס הקסם ההנדסי של Soft-MTP: במקום לחשב KL מאפס (הרבה זכרון), החוקרים גילו שאפשר לקבל את אותו גראדיאנט בחינם על ידי חיסור פשוט בין הגראדיאנטים שממילא חישבנו.
mathyaiwithmikePublished 2026-11-05 Read source

Discussion

0/2000