Pular para o conteúdo principal

Deep Research Bench: Um Novo Padrão para Avaliar Agentes de Pesquisa Web de IA

-
O uso de modelos de linguagem grande (LLMs) integrados com funcionalidades de busca na web tornou-se uma aplicação comum da inteligência artificial moderna. No entanto, faltam avaliações diretas e controladas da qualidade desses agentes de pesquisa web de IA, especialmente considerando a natureza em constante mudança da internet. Para abordar essa lacuna, foi introduzido o **Deep Research Bench**, um novo benchmark projetado para avaliar o desempenho de agentes de IA em tarefas de pesquisa web complexas.

O Deep Research Bench é composto por 89 instâncias de tarefas de pesquisa web multi-etapa, abrangendo 8 categorias diversas com níveis variados de dificuldade. As respostas para essas tarefas foram cuidadosamente elaboradas por humanos qualificados, servindo como gabarito para avaliação.

Um componente crucial do Deep Research Bench é o ambiente **"RetroSearch"**. Este ambiente utiliza um grande conjunto congelado de páginas web raspadas, criando um cenário de pesquisa estático e controlável. Os criadores demonstraram que agentes operando neste ambiente "RetroSearch" offline apresentam desempenho comparável aos agentes que utilizam a "web ao vivo". Isso é fundamental, pois permite avaliações confiáveis dos modelos ao longo do tempo, sem a interferência das mudanças dinâmicas da web.

A estrutura inclui ferramentas robustas e scaffolding para facilitar o benchmarking dos principais LLMs à medida que são lançados, incluindo modelos como o o3 e o Gemini 2.5 Pro. O benchmark também emprega avaliações automatizadas dos extensos rastros de execução dos agentes para reportar o progresso ao longo do tempo em métricas importantes como alucinações, uso de ferramentas e esquecimento.

Adicionalmente, o Deep Research Bench foi utilizado para avaliar produtos comerciais de pesquisa web rotulados como "Deep Research", "Deep Search", "Search" ou "Research". Os resultados dessas avaliações estão disponíveis em um leaderboard público, promovendo transparência e comparação entre diferentes agentes e produtos. O projeto reside na área de Inteligência Artificial (cs.AI).

Fonte: https://arxiv.org/pdf/2506.06287

Postagens mais visitadas deste blog

Modelagem Estelar Avançada: Acoplamento 1D e 3D em Diferentes Metalicidades

-
Um desafio significativo na modelagem da estrutura e evolução de estrelas em uma dimensão (1D) reside no tratamento simplificado da convecção estelar, particularmente nas camadas próximas à superfície. Essa simplificação, frequentemente baseada na teoria da mistura (Mixing-Length Theory - MLT), leva a imprecisões na estratificação superficial e introduz consideráveis incertezas nas temperaturas efetivas e luminosidades previstas para estrelas de baixa massa. A MLT, sendo uma teoria fenomenológica, descreve o transporte de calor na região convectiva de forma idealizada, contrastando com a complexa realidade observada em simulações tridimensionais (3D). Em resposta a essa limitação, uma nova abordagem tem sido desenvolvida para acoplar modelos estruturais estelares 1D com simulações 3D de convecção superficial. Em trabalhos anteriores, esse método foi aplicado a estrelas com metalicidade solar. O presente estudo, sendo a terceira parte da série, estende essa metodologia para modelar e...
Leia mais »

Percepções de Professores sobre a Integração do GPT-4 no Ensino Médio

-
Um estudo recente explorou as percepções de professores do ensino médio sobre a integração do modelo de linguagem avançado GPT-4 em ambientes educacionais. O objetivo principal da pesquisa foi compreender como os educadores dessa etapa de ensino veem o potencial, os desafios e as implicações de utilizar ferramentas baseadas em inteligência artificial generativa em suas práticas pedagógicas e no cotidiano da sala de aula. A pesquisa buscou coletar dados qualitativos e, possivelmente, quantitativos para formar um panorama das atitudes e opiniões dos professores. Foram abordados temas como as expectativas em relação ao uso do GPT-4 para personalização do ensino, criação de materiais didáticos, suporte na avaliação de alunos e como ferramenta de apoio ao próprio trabalho docente. Paralelamente, foram investigadas as preocupações existentes, incluindo questões éticas, plágio, a precisão das informações geradas pela IA, a necessidade de formação e suporte técnico para os professores, e o ...
Leia mais »

Nova Abordagem Data-Driven Explica Deepfakes de Áudio

-
Uma nova pesquisa aborda o desafio de explicar por que modelos de detecção identificam áudios como falsos (deepfakes). Avaliar técnicas de explicabilidade, como SHAP e LRP, no contexto da detecção de deepfake de áudio é difícil devido à falta de anotações de verdade fundamental claras. Mesmo quando a verdade fundamental está disponível, esses métodos tradicionais frequentemente falham em fornecer explicações precisas. Para superar essa limitação, pesquisadores propuseram uma abordagem inovadora baseada em dados para identificar regiões com artefatos em áudios deepfake. O método utiliza pares de áudios reais e "vocoded" (sintetizados por vocoder), considerando a diferença em sua representação tempo-frequência como a verdade fundamental para a explicação. Essa representação é tipicamente um espectrograma log-magnitude, e a diferença entre o áudio falso (spoof) e o áudio real (bona fide) correspondente é usada para destacar as regiões de artefato. Para obter regiões significa...
Leia mais »

IA e Topologia Preveem Ratings de Crédito Bancário com Nova Rede Neural

-
Um estudo recente explorou a aplicação de técnicas avançadas de inteligência artificial e análise topológica para aprimorar a previsão de ratings de crédito bancário. O artigo, intitulado "Prediction of Bank Credit Ratings using Heterogeneous Topological Graph Neural Networks" (arXiv:2506.06293), propõe um novo modelo chamado Heterogeneous Topological Graph Neural Network (HTGNN) para enfrentar os desafios inerentes à previsão precisa e oportuna dessas classificações cruciais para a estabilidade econômica. Agências como Standard & Poor's e Moody's fornecem ratings de crédito que influenciam significativamente a tomada de decisões por diversas partes interessadas no mercado financeiro. No entanto, a aplicação direta de Redes Neurais Gráficas (GNNs), que são eficazes na alavancagem de informações de rede, é frequentemente complicada pela indisponibilidade de um grafo completo de conexões interbancárias, muitas vezes devido a preocupações com privacidade. Para ...
Leia mais »

Melhorando a Compreensão de Cidades 3D com Integração Multimídia

-
Representações digitais tridimensionais de áreas urbanas tornaram-se ferramentas valiosas para a compreensão de territórios, dada a sua crescente disponibilidade. No entanto, apesar de permitirem a navegação virtual, esses modelos 3D frequentemente carecem de informações contextuais ricas, como o histórico ou a funcionalidade dos edifícios. Paralelamente, documentos multimídia, incluindo imagens, vídeos e textos, são fontes ricas em tais informações contextuais. A combinação estratégica desses dois tipos de dados — modelos 3D e documentos multimídia — surge como uma abordagem promissora para aprimorar a análise e a compreensão da organização das cidades. O artigo "Integrating multimedia documents in 3D city models for a better understanding of territories" propõe quatro abordagens distintas para integrar documentos multimídia em cenas urbanas 3D. O objetivo é permitir a contextualização da cena com qualquer tipo de mídia, superando a limitação dos modelos tridimensionais b...
Leia mais »

Gerenciamento Ótimo de Energia em VE Autônomos sob Temperaturas Frias com Controle Preditivo

-
Em veículos elétricos autônomos (VEAs), a distribuição da energia da bateria entre as necessidades primárias de propulsão e as demandas auxiliares, como o sistema de Aquecimento, Ventilação e Ar Condicionado (HVAC), é uma tarefa crítica. Essa alocação torna-se ainda mais desafiadora sob baixas temperaturas ambientes, especialmente quando a bateria está com baixo estado de carga. Nessas condições, o aquecimento da cabine e o pré-condicionamento da bateria (necessário antes do carregamento) podem consumir uma parcela significativa da energia disponível, impactando diretamente a autonomia do veículo. Geralmente, em cenários de baixa energia e temperaturas frias, a prioridade é dada à propulsão, ou são aplicadas regras heurísticas para o gerenciamento térmico. No entanto, essas abordagens frequentemente resultam em utilização subótima da energia. Há uma necessidade clara de uma metodologia baseada em princípios que possa alocar a potência da bateria dinamicamente, equilibrando conforto ...
Leia mais »

Extensão de Arquivo Iris: Um Novo Formato para Patologia Digital Eficiente

-
Um novo artigo disponível no repositório arXiv introduz a "Extensão de Arquivo Iris", um formato binário projetado especificamente para atender à necessidade urgente de transferência e exibição eficiente em tempo real de lâminas em patologia digital. Atualmente, a patologia digital enfrenta um desafio significativo: embora o padrão DICOM seja amplamente aceito para o armazenamento de longo prazo de imagens médicas e metadados associados, suas limitações inerentes no que diz respeito às dimensões máximas das imagens podem impactar a velocidade de recuperação, especialmente ao acessar imagens de lâminas inteiras usando estruturas piramidais em aplicações de visualização. Com a crescente adoção da patologia digital, intensifica-se a necessidade de um formato de lâmina digital intermediário que priorize o desempenho para uso entre servidores de lâminas e software de gerenciamento de imagens, ou para a transmissão interinstitucional de casos. O formato Iris surge como uma soluç...
Leia mais »

Localização Multiuso com Deep Learning e Segmentação Semântica por Ângulo de Chegada

-
Um artigo recente publicado no arXiv propõe uma nova abordagem baseada em deep learning para a localização de múltiplas fontes utilizando exclusivamente medições de ângulo de chegada (AoA - Angle of Arrival). A pesquisa aborda um cenário dinâmico onde a plataforma receptora está em movimento, enquanto as fontes são consideradas estacionárias. Embora existam diversos métodos para localização de fonte única, o estudo destaca uma lacuna significativa na pesquisa focada em localização de múltiplas fontes em ambientes dinâmicos. Para preencher essa lacuna, os autores propõem uma estrutura baseada em deep learning que emprega modelos de segmentação semântica para realizar a localização multi-fonte. Especificamente, são utilizados os modelos UNet e UNet++ como base, que processam imagens de entrada codificando as posições da plataforma juntamente com as linhas de localização de direção correspondentes em cada posição. Ao analisar as interseções dessas linhas, os modelos são capazes de iden...
Leia mais »

Novo Limite Superior para a Quantidade de Holevo na Física Quântica

-
Um artigo recente publicado no arquivo arXiv (arXiv:2506.05335) propõe um novo método para obter um limite superior para a quantidade de Holevo de ensembles discretos de estados quânticos. O trabalho, de autoria de M.E. Shirokov do Steklov Mathematical Institute, Moscou, Rússia, demonstra como uma desigualdade entrópica fundamental recentemente provada (referenciada como arXiv:2408.15306) pode ser utilizada para derivar um limite superior consideravelmente preciso. A quantidade de Holevo, também conhecida como informação de Holevo, é um conceito fundamental na teoria da informação quântica. Ela representa o limite superior para a informação clássica que pode ser obtida ao reconhecer os estados de um ensemble por meio de medições quânticas. Essa quantidade desempenha um papel crucial na análise das propriedades de informação de sistemas e canais quânticos. O cálculo exato da quantidade de Holevo para uma coleção de estados quânticos geralmente requer esforços consideráveis, partic...
Leia mais »

Novas Cotas para Hamiltonianos Quânticos 2-Locais via Grafos Token

-
Um estudo recente explorou a profunda conexão entre a energia máxima de certos Hamiltonianos quânticos 2-locais e as propriedades espectrais dos grafos token correspondentes. O trabalho, detalhado em um artigo no arXiv, foca nos Hamiltonianos Quantum MaxCut (QMC), XY e EPR definidos sobre um grafo *G*. A pesquisa estabelece uma equivalência fundamental: os Hamiltonianos QMC, XY e EPR podem ser expressos como somas diretas de matrizes espectrais (Laplaciana, de adjacência e Laplaciana sem sinal, respectivamente) dos grafos token de *G*. Essa relação permite abordar o estudo desses Hamiltonianos a partir de uma perspectiva puramente teórica de grafos. Baseado em extensos estudos numéricos, os autores propõem novas conjecturas que estabelecem limites para os raios espectrais dos grafos token. Essas conjecturas são mais rigorosas do que resultados anteriores e são apresentadas como sendo de interesse independente para a comunidade de teoria dos grafos. As conjecturas foram verificada...
Leia mais »