statementSaid on 2026-10-19
In a linear layer, each new memory is simply added to the weights; retrieval returns the correct value plus a bit of every other memory depending on key overlap.
A statement by post author, said on 2026-10-19. Statements are as reported by the cited publishers — not verified by DecisionGateway.
כל זיכרון חדש פשוט מתווסף למשקולות, וזהו. בשליפה מקבלים את הערך הנכון, ועוד קצת מכל זיכרון אחר, בהתאם למידת החפיפה בין המפתחות.