allegationSaid on 2026-11-05
Large AI labs train models with MTP, but 80% of the gradient they backpropagate to the model is static noise that interferes with learning.
A allegation by post author, said on 2026-11-05. Statements are as reported by the cited publishers — not verified by DecisionGateway.
מעבדות ה-AI הגדולות מאמנות מודלים עם MTP, אבל מסתבר ש-80% מהגראדיאנט שהן מפעפעו אחורה (בקפרופ) למודלל הוא בכלל רעש סטטי שמפריע למודל ללמוד.