Pular para o conteúdo principal

Hypertokens e HDRAM: Nova Memória Associativa para LLMs

Um artigo recente propõe uma nova abordagem para lidar com a aparente perda de precisão em Large Language Models (LLMs), reformulando o problema como uma questão de distribuição de informação no espaço latente. Intitulado "Hypertokens: Holographic Associative Memory in Tokenized LLMs", o estudo introduz a HDRAM (Holographically Defined Random Access Memory) como uma estrutura de memória simbólica inovadora.

A pesquisa aborda especificamente o desafio da memória K:V e V:K em LLMs, tratando o espaço latente dos transformadores como um canal de espectro expandido. A HDRAM é construída sobre o conceito de hypertokens, que são códigos simbólicos estruturados que integram códigos corretores de erros (ECC) clássicos, computação holográfica e busca inspirada em computação quântica.

Segundo o autor, esta estrutura permite que a HDRAM recupere informações distribuídas através de um processo de "desexpansão" (despreading) baseado em princípios bem definidos. Os hypertokens criam endereços de memória coerentes em fase, facilitando operações eficientes de chave-valor e permitindo busca estilo Grover no espaço latente do modelo.

A combinação da gramática ECC com técnicas de compressed sensing e alinhamento de subespaço de Krylov resulta em uma melhoria significativa na recuperação associativa, sem a necessidade de alterar a arquitetura fundamental dos transformadores. O trabalho demonstra como a aplicação de princípios Clássicos, Holográficos e Inspirados em Quântica (CHQ) pode fortalecer as arquiteturas de transformadores, oferecendo um caminho promissor para aumentar a precisão e a capacidade de memória em LLMs.

Postagens mais visitadas deste blog

Extensão de Arquivo Iris: Um Novo Formato para Patologia Digital Eficiente

NeutroSENSE: Detecção de Intrusões em IoT com Lógica Neutrosófica e Abstenção Inteligente

Nova Técnica de Segmentação 3D de Músculos Flexores dos Dedos com Imagens Médicas

Nova Abordagem Data-Driven Explica Deepfakes de Áudio

Novas Fronteiras na Cosmologia: Energia Quântica em Limites Tipo Tempo e o Modelo Além do ΛCDM

Rastreamento em Tempo Real de Fio-Guia com Redes Siamesas para Procedimentos Endovasculares

Modelos de Separação de Áudio Preservam Informação Espacial em Áudio Binaural?

Uma Teoria da Escalabilidade Computacional da Inferência em LLMs

Localização Multiuso com Deep Learning e Segmentação Semântica por Ângulo de Chegada

Modelos de Linguagem Grandes Transformando a Descoberta Científica