Hypertokens e HDRAM: Nova Memória Associativa para LLMs
Um artigo recente propõe uma nova abordagem para lidar com a aparente perda de precisão em Large Language Models (LLMs), reformulando o problema como uma questão de distribuição de informação no espaço latente. Intitulado "Hypertokens: Holographic Associative Memory in Tokenized LLMs", o estudo introduz a HDRAM (Holographically Defined Random Access Memory) como uma estrutura de memória simbólica inovadora. A pesquisa aborda especificamente o desafio da memória K:V e V:K em LLMs, tratando o espaço latente dos transformadores como um canal de espectro expandido. A HDRAM é construída sobre o conceito de hypertokens, que são códigos simbólicos estruturados que integram códigos corretores de erros (ECC) clássicos, computação holográfica e busca inspirada em computação quântica. Segundo o autor, esta estrutura permite que a HDRAM recupere informações distribuídas através de um processo de "desexpansão" (despreading) baseado em princípios bem definidos. Os hypertoke...