Pular para o conteúdo principal

Grafos Estruturados para Raciocínio Narrativo Visual em Quadrinhos

-

Um artigo recente disponível no arquivo de pré-publicação arXiv (ID 2506.10008) propõe um framework hierárquico baseado em grafos de conhecimento para a compreensão estruturada de narrativas visuais, com foco específico em mídias multimodais como quadrinhos. O trabalho, intitulado "Structured Graph Representations for Visual Narrative Reasoning: A Hierarchical Framework for Comics", detalha uma abordagem para decompor o conteúdo narrativo em múltiplos níveis.

A metodologia apresentada no artigo decompõe o conteúdo de narrativas visuais desde arcos de história em macro-nível até segmentos de eventos mais granulares. Esses diferentes níveis são representados através de grafos de conhecimento integrados, que são capazes de capturar relacionamentos semânticos, espaciais e temporais presentes na narrativa.

No nível individual do painel (quadro a quadro), o framework constrói grafos multimodais. Estes grafos conectam elementos visuais, como personagens, objetos e ações, com seus componentes textuais correspondentes, incluindo diálogos e legendas. Essa integração permite uma representação rica e interconectada dos elementos narrativos.

Os grafos gerados são integrados através dos diferentes níveis narrativos para dar suporte ao raciocínio sobre a estrutura da história, a continuidade dos personagens e a progressão dos eventos. Os autores aplicaram a abordagem a um subconjunto anotado manualmente do conjunto de dados Manga109. Eles demonstraram a capacidade do framework em suportar raciocínio simbólico em diversas tarefas narrativas. Isso inclui recuperação de ações, rastreamento de diálogos, mapeamento de aparição de personagens e reconstrução da linha do tempo dos painéis.

Os resultados da avaliação, conforme descrito no artigo, mostram alta precisão e recall em todas as tarefas, validando a coerência e a interpretabilidade do framework proposto. Os autores sugerem que este trabalho contribui com uma fundação escalável para análise de conteúdo baseada em narrativa, contação de histórias interativas e raciocínio multimodal em mídia visual. O artigo foi submetido à conferência ACM Multimedia 2025 e está atualmente sob revisão.

Fonte: https://arxiv.org/pdf/2506.10008

Postagens mais visitadas deste blog

Modelagem Estelar Avançada: Acoplamento 1D e 3D em Diferentes Metalicidades

-
Um desafio significativo na modelagem da estrutura e evolução de estrelas em uma dimensão (1D) reside no tratamento simplificado da convecção estelar, particularmente nas camadas próximas à superfície. Essa simplificação, frequentemente baseada na teoria da mistura (Mixing-Length Theory - MLT), leva a imprecisões na estratificação superficial e introduz consideráveis incertezas nas temperaturas efetivas e luminosidades previstas para estrelas de baixa massa. A MLT, sendo uma teoria fenomenológica, descreve o transporte de calor na região convectiva de forma idealizada, contrastando com a complexa realidade observada em simulações tridimensionais (3D). Em resposta a essa limitação, uma nova abordagem tem sido desenvolvida para acoplar modelos estruturais estelares 1D com simulações 3D de convecção superficial. Em trabalhos anteriores, esse método foi aplicado a estrelas com metalicidade solar. O presente estudo, sendo a terceira parte da série, estende essa metodologia para modelar e...
Leia mais »

Percepções de Professores sobre a Integração do GPT-4 no Ensino Médio

-
Um estudo recente explorou as percepções de professores do ensino médio sobre a integração do modelo de linguagem avançado GPT-4 em ambientes educacionais. O objetivo principal da pesquisa foi compreender como os educadores dessa etapa de ensino veem o potencial, os desafios e as implicações de utilizar ferramentas baseadas em inteligência artificial generativa em suas práticas pedagógicas e no cotidiano da sala de aula. A pesquisa buscou coletar dados qualitativos e, possivelmente, quantitativos para formar um panorama das atitudes e opiniões dos professores. Foram abordados temas como as expectativas em relação ao uso do GPT-4 para personalização do ensino, criação de materiais didáticos, suporte na avaliação de alunos e como ferramenta de apoio ao próprio trabalho docente. Paralelamente, foram investigadas as preocupações existentes, incluindo questões éticas, plágio, a precisão das informações geradas pela IA, a necessidade de formação e suporte técnico para os professores, e o ...
Leia mais »

Nova Abordagem Data-Driven Explica Deepfakes de Áudio

-
Uma nova pesquisa aborda o desafio de explicar por que modelos de detecção identificam áudios como falsos (deepfakes). Avaliar técnicas de explicabilidade, como SHAP e LRP, no contexto da detecção de deepfake de áudio é difícil devido à falta de anotações de verdade fundamental claras. Mesmo quando a verdade fundamental está disponível, esses métodos tradicionais frequentemente falham em fornecer explicações precisas. Para superar essa limitação, pesquisadores propuseram uma abordagem inovadora baseada em dados para identificar regiões com artefatos em áudios deepfake. O método utiliza pares de áudios reais e "vocoded" (sintetizados por vocoder), considerando a diferença em sua representação tempo-frequência como a verdade fundamental para a explicação. Essa representação é tipicamente um espectrograma log-magnitude, e a diferença entre o áudio falso (spoof) e o áudio real (bona fide) correspondente é usada para destacar as regiões de artefato. Para obter regiões significa...
Leia mais »

IA e Topologia Preveem Ratings de Crédito Bancário com Nova Rede Neural

-
Um estudo recente explorou a aplicação de técnicas avançadas de inteligência artificial e análise topológica para aprimorar a previsão de ratings de crédito bancário. O artigo, intitulado "Prediction of Bank Credit Ratings using Heterogeneous Topological Graph Neural Networks" (arXiv:2506.06293), propõe um novo modelo chamado Heterogeneous Topological Graph Neural Network (HTGNN) para enfrentar os desafios inerentes à previsão precisa e oportuna dessas classificações cruciais para a estabilidade econômica. Agências como Standard & Poor's e Moody's fornecem ratings de crédito que influenciam significativamente a tomada de decisões por diversas partes interessadas no mercado financeiro. No entanto, a aplicação direta de Redes Neurais Gráficas (GNNs), que são eficazes na alavancagem de informações de rede, é frequentemente complicada pela indisponibilidade de um grafo completo de conexões interbancárias, muitas vezes devido a preocupações com privacidade. Para ...
Leia mais »

Melhorando a Compreensão de Cidades 3D com Integração Multimídia

-
Representações digitais tridimensionais de áreas urbanas tornaram-se ferramentas valiosas para a compreensão de territórios, dada a sua crescente disponibilidade. No entanto, apesar de permitirem a navegação virtual, esses modelos 3D frequentemente carecem de informações contextuais ricas, como o histórico ou a funcionalidade dos edifícios. Paralelamente, documentos multimídia, incluindo imagens, vídeos e textos, são fontes ricas em tais informações contextuais. A combinação estratégica desses dois tipos de dados — modelos 3D e documentos multimídia — surge como uma abordagem promissora para aprimorar a análise e a compreensão da organização das cidades. O artigo "Integrating multimedia documents in 3D city models for a better understanding of territories" propõe quatro abordagens distintas para integrar documentos multimídia em cenas urbanas 3D. O objetivo é permitir a contextualização da cena com qualquer tipo de mídia, superando a limitação dos modelos tridimensionais b...
Leia mais »

Gerenciamento Ótimo de Energia em VE Autônomos sob Temperaturas Frias com Controle Preditivo

-
Em veículos elétricos autônomos (VEAs), a distribuição da energia da bateria entre as necessidades primárias de propulsão e as demandas auxiliares, como o sistema de Aquecimento, Ventilação e Ar Condicionado (HVAC), é uma tarefa crítica. Essa alocação torna-se ainda mais desafiadora sob baixas temperaturas ambientes, especialmente quando a bateria está com baixo estado de carga. Nessas condições, o aquecimento da cabine e o pré-condicionamento da bateria (necessário antes do carregamento) podem consumir uma parcela significativa da energia disponível, impactando diretamente a autonomia do veículo. Geralmente, em cenários de baixa energia e temperaturas frias, a prioridade é dada à propulsão, ou são aplicadas regras heurísticas para o gerenciamento térmico. No entanto, essas abordagens frequentemente resultam em utilização subótima da energia. Há uma necessidade clara de uma metodologia baseada em princípios que possa alocar a potência da bateria dinamicamente, equilibrando conforto ...
Leia mais »

Extensão de Arquivo Iris: Um Novo Formato para Patologia Digital Eficiente

-
Um novo artigo disponível no repositório arXiv introduz a "Extensão de Arquivo Iris", um formato binário projetado especificamente para atender à necessidade urgente de transferência e exibição eficiente em tempo real de lâminas em patologia digital. Atualmente, a patologia digital enfrenta um desafio significativo: embora o padrão DICOM seja amplamente aceito para o armazenamento de longo prazo de imagens médicas e metadados associados, suas limitações inerentes no que diz respeito às dimensões máximas das imagens podem impactar a velocidade de recuperação, especialmente ao acessar imagens de lâminas inteiras usando estruturas piramidais em aplicações de visualização. Com a crescente adoção da patologia digital, intensifica-se a necessidade de um formato de lâmina digital intermediário que priorize o desempenho para uso entre servidores de lâminas e software de gerenciamento de imagens, ou para a transmissão interinstitucional de casos. O formato Iris surge como uma soluç...
Leia mais »

Localização Multiuso com Deep Learning e Segmentação Semântica por Ângulo de Chegada

-
Um artigo recente publicado no arXiv propõe uma nova abordagem baseada em deep learning para a localização de múltiplas fontes utilizando exclusivamente medições de ângulo de chegada (AoA - Angle of Arrival). A pesquisa aborda um cenário dinâmico onde a plataforma receptora está em movimento, enquanto as fontes são consideradas estacionárias. Embora existam diversos métodos para localização de fonte única, o estudo destaca uma lacuna significativa na pesquisa focada em localização de múltiplas fontes em ambientes dinâmicos. Para preencher essa lacuna, os autores propõem uma estrutura baseada em deep learning que emprega modelos de segmentação semântica para realizar a localização multi-fonte. Especificamente, são utilizados os modelos UNet e UNet++ como base, que processam imagens de entrada codificando as posições da plataforma juntamente com as linhas de localização de direção correspondentes em cada posição. Ao analisar as interseções dessas linhas, os modelos são capazes de iden...
Leia mais »

Novo Limite Superior para a Quantidade de Holevo na Física Quântica

-
Um artigo recente publicado no arquivo arXiv (arXiv:2506.05335) propõe um novo método para obter um limite superior para a quantidade de Holevo de ensembles discretos de estados quânticos. O trabalho, de autoria de M.E. Shirokov do Steklov Mathematical Institute, Moscou, Rússia, demonstra como uma desigualdade entrópica fundamental recentemente provada (referenciada como arXiv:2408.15306) pode ser utilizada para derivar um limite superior consideravelmente preciso. A quantidade de Holevo, também conhecida como informação de Holevo, é um conceito fundamental na teoria da informação quântica. Ela representa o limite superior para a informação clássica que pode ser obtida ao reconhecer os estados de um ensemble por meio de medições quânticas. Essa quantidade desempenha um papel crucial na análise das propriedades de informação de sistemas e canais quânticos. O cálculo exato da quantidade de Holevo para uma coleção de estados quânticos geralmente requer esforços consideráveis, partic...
Leia mais »

Novas Cotas para Hamiltonianos Quânticos 2-Locais via Grafos Token

-
Um estudo recente explorou a profunda conexão entre a energia máxima de certos Hamiltonianos quânticos 2-locais e as propriedades espectrais dos grafos token correspondentes. O trabalho, detalhado em um artigo no arXiv, foca nos Hamiltonianos Quantum MaxCut (QMC), XY e EPR definidos sobre um grafo *G*. A pesquisa estabelece uma equivalência fundamental: os Hamiltonianos QMC, XY e EPR podem ser expressos como somas diretas de matrizes espectrais (Laplaciana, de adjacência e Laplaciana sem sinal, respectivamente) dos grafos token de *G*. Essa relação permite abordar o estudo desses Hamiltonianos a partir de uma perspectiva puramente teórica de grafos. Baseado em extensos estudos numéricos, os autores propõem novas conjecturas que estabelecem limites para os raios espectrais dos grafos token. Essas conjecturas são mais rigorosas do que resultados anteriores e são apresentadas como sendo de interesse independente para a comunidade de teoria dos grafos. As conjecturas foram verificada...
Leia mais »