Hypertokens e HDRAM: Nova Memória Associativa para LLMs
A pesquisa aborda especificamente o desafio da memória K:V e V:K em LLMs, tratando o espaço latente dos transformadores como um canal de espectro expandido. A HDRAM é construída sobre o conceito de hypertokens, que são códigos simbólicos estruturados que integram códigos corretores de erros (ECC) clássicos, computação holográfica e busca inspirada em computação quântica.
Segundo o autor, esta estrutura permite que a HDRAM recupere informações distribuídas através de um processo de "desexpansão" (despreading) baseado em princípios bem definidos. Os hypertokens criam endereços de memória coerentes em fase, facilitando operações eficientes de chave-valor e permitindo busca estilo Grover no espaço latente do modelo.
A combinação da gramática ECC com técnicas de compressed sensing e alinhamento de subespaço de Krylov resulta em uma melhoria significativa na recuperação associativa, sem a necessidade de alterar a arquitetura fundamental dos transformadores. O trabalho demonstra como a aplicação de princípios Clássicos, Holográficos e Inspirados em Quântica (CHQ) pode fortalecer as arquiteturas de transformadores, oferecendo um caminho promissor para aumentar a precisão e a capacidade de memória em LLMs.