Hypertokens e HDRAM: Nova Memória Associativa para LLMs

Um artigo recente propõe uma nova abordagem para lidar com a aparente perda de precisão em Large Language Models (LLMs), reformulando o problema como uma questão de distribuição de informação no espaço latente. Intitulado "Hypertokens: Holographic Associative Memory in Tokenized LLMs", o estudo introduz a HDRAM (Holographically Defined Random Access Memory) como uma estrutura de memória simbólica inovadora.

A pesquisa aborda especificamente o desafio da memória K:V e V:K em LLMs, tratando o espaço latente dos transformadores como um canal de espectro expandido. A HDRAM é construída sobre o conceito de hypertokens, que são códigos simbólicos estruturados que integram códigos corretores de erros (ECC) clássicos, computação holográfica e busca inspirada em computação quântica.

Segundo o autor, esta estrutura permite que a HDRAM recupere informações distribuídas através de um processo de "desexpansão" (despreading) baseado em princípios bem definidos. Os hypertokens criam endereços de memória coerentes em fase, facilitando operações eficientes de chave-valor e permitindo busca estilo Grover no espaço latente do modelo.

A combinação da gramática ECC com técnicas de compressed sensing e alinhamento de subespaço de Krylov resulta em uma melhoria significativa na recuperação associativa, sem a necessidade de alterar a arquitetura fundamental dos transformadores. O trabalho demonstra como a aplicação de princípios Clássicos, Holográficos e Inspirados em Quântica (CHQ) pode fortalecer as arquiteturas de transformadores, oferecendo um caminho promissor para aumentar a precisão e a capacidade de memória em LLMs.

Fonte: https://arxiv.org/pdf/2507.00002