statementSaid on 2026-10-19
In attention the memories do not sit in the weights; every token in the context is a memory, and the store grows as the context lengthens.
A statement by post author, said on 2026-10-19. Statements are as reported by the cited publishers — not verified by DecisionGateway.
ב-attention הזכרונות לא יושבים במשקולות. כל טוקן בקונטקסט הוא זיכרון, והמחסן גדל ככל שהקונטקסט מתארך.