Pular para o conteúdo principal

Deep Research Bench: Um Novo Padrão para Avaliar Agentes de Pesquisa Web de IA

-
O uso de modelos de linguagem grande (LLMs) integrados com funcionalidades de busca na web tornou-se uma aplicação comum da inteligência artificial moderna. No entanto, faltam avaliações diretas e controladas da qualidade desses agentes de pesquisa web de IA, especialmente considerando a natureza em constante mudança da internet. Para abordar essa lacuna, foi introduzido o **Deep Research Bench**, um novo benchmark projetado para avaliar o desempenho de agentes de IA em tarefas de pesquisa web complexas.

O Deep Research Bench é composto por 89 instâncias de tarefas de pesquisa web multi-etapa, abrangendo 8 categorias diversas com níveis variados de dificuldade. As respostas para essas tarefas foram cuidadosamente elaboradas por humanos qualificados, servindo como gabarito para avaliação.

Um componente crucial do Deep Research Bench é o ambiente **"RetroSearch"**. Este ambiente utiliza um grande conjunto congelado de páginas web raspadas, criando um cenário de pesquisa estático e controlável. Os criadores demonstraram que agentes operando neste ambiente "RetroSearch" offline apresentam desempenho comparável aos agentes que utilizam a "web ao vivo". Isso é fundamental, pois permite avaliações confiáveis dos modelos ao longo do tempo, sem a interferência das mudanças dinâmicas da web.

A estrutura inclui ferramentas robustas e scaffolding para facilitar o benchmarking dos principais LLMs à medida que são lançados, incluindo modelos como o o3 e o Gemini 2.5 Pro. O benchmark também emprega avaliações automatizadas dos extensos rastros de execução dos agentes para reportar o progresso ao longo do tempo em métricas importantes como alucinações, uso de ferramentas e esquecimento.

Adicionalmente, o Deep Research Bench foi utilizado para avaliar produtos comerciais de pesquisa web rotulados como "Deep Research", "Deep Search", "Search" ou "Research". Os resultados dessas avaliações estão disponíveis em um leaderboard público, promovendo transparência e comparação entre diferentes agentes e produtos. O projeto reside na área de Inteligência Artificial (cs.AI).

Fonte: https://arxiv.org/pdf/2506.06287

Postagens mais visitadas deste blog

Evolução Não Linear da Instabilidade de Sedimentação de Poeira Polidispersa Não Estratificada

-
A formação planetária é um processo complexo que envolve a aglomeração de partículas de poeira e gás em discos protoplanetários. Um dos mecanismos cruciais nesse processo é a Instabilidade de Sedimentação de Poeira (DSI), um fenômeno de arrasto ressonante que pode levar ao agrupamento de poeira. O artigo "Nonlinear Evolution of the Unstratified Polydisperse Dust Settling Instability" de Hossam Aly e Sijme-Jan Paardekooper investiga a evolução não linear dessa instabilidade, com foco nas implicações para a formação de planetesimais. A DSI é um membro da família das Instabilidades de Arrasto Ressonante (RDI), parente da Instabilidade de Fluxo (SI). Cálculos lineares anteriores indicaram que a DSI monodispersa não estratificada exibe taxas de crescimento significativamente mais altas do que a SI. Este estudo aprofunda a compreensão desse fenômeno ao examinar a evolução temporal da densidade máxima de poeira e a morfologia da estrutura resultante. Os pesquisadores realizara...
Leia mais »

Otimização de Preferências em Veículos Autônomos: A Abordagem Lexicográfica IBR

-
A crescente complexidade dos sistemas de veículos autônomos exige que eles sejam capazes de equilibrar múltiplos objetivos hierárquicos, como minimizar o tempo de viagem, garantir a segurança e coordenar-se eficientemente com o tráfego. Esse cenário pode ser modelado de forma eficaz por meio de "jogos de preferência ordenada". No entanto, a resolução desses jogos torna-se computacionalmente inviável à medida que o horizonte de tempo, o número de jogadores ou os níveis de preferência aumentam. As abordagens de horizonte móvel (receding horizon frameworks) têm sido utilizadas para mitigar a intratabilidade em horizontes longos, resolvendo sequencialmente jogos de menor duração, frequentemente com inicialização a quente. Contudo, essas abordagens não abordam a complexidade inerente aos métodos existentes para solucionar jogos de preferência ordenada. A necessidade de uma estratégia mais eficiente para lidar com essa complexidade é fundamental para o avanço dos sistemas autôno...
Leia mais »

O Impacto Transformador do Observatório Pierre Auger em Malargüe

-
O Observatório Pierre Auger, localizado em Malargüe, província de Mendoza, Argentina, tem operado por mais de duas décadas, contribuindo significativamente para a compreensão dos raios cósmicos. Contudo, seu propósito vai além da pesquisa científica, abrangendo um profundo impacto social, econômico, educacional e cultural na comunidade local, na região e globalmente. Mais de 90% do orçamento operacional anual do Observatório é investido na região, beneficiando diretamente setores como turismo, hotelaria, gastronomia e comércio local. A presença de visitantes e colaborações internacionais tem fomentado um rico intercâmbio cultural. Como resultado, Malargüe emergiu como um destino proeminente para o turismo científico, atraindo mais de 178.000 visitantes desde sua inauguração e impulsionando o desenvolvimento regional. O artigo em questão explora os vastos benefícios diretos e indiretos do Observatório Auger e as lições cruciais aprendidas com este empreendimento. Um novo Acordo In...
Leia mais »

Fonocardiografia Fetal: Avaliação Padronizada para Detecção de Batimentos Cardíacos

-
A fonocardiografia (PCG) representa uma técnica passiva e não invasiva, isenta de radiação, que permite o acesso à frequência cardíaca fetal e a dados diretos dos sons do coração do feto. O artigo "Standardized Evaluation of Fetal Phonocardiography Processing Methods" discute os métodos atualmente disponíveis para a detecção dos sons cardíacos fetais e a estimativa da frequência cardíaca, realizando uma comparação abrangente por meio de uma plataforma de benchmarking comum e um conjunto de dados de teste pré-selecionado. Ao contrário de revisões anteriores, este estudo adota uma abordagem padronizada para a avaliação das metodologias, visando uma comparação mais justa e imparcial. Os testes realizados incluíram a precisão da detecção baseada em tolerância, taxas de erro para inserções, exclusões e substituições de rótulos, e medidas estatísticas para o erro médio quadrático da frequência cardíaca. Os resultados da pesquisa indicam que não há um método único que se desta...
Leia mais »

DESA: Desvendando Propriedades Estelares com IA Multimodal

-
A astrofísica estelar, campo dedicado ao estudo das estrelas, depende fundamentalmente de diversas modalidades de observação, principalmente curvas de luz fotométricas e dados espectroscópicos, para inferir propriedades estelares cruciais. Embora o aprendizado de máquina (ML) tenha promovido avanços significativos na análise de modalidades individuais, a informação complementar codificada entre essas diferentes fontes de dados permaneceu amplamente inexplorada até então. Nesse contexto, um novo modelo de fundação multimodal, denominado DESA (Dual Embedding model for Stellar Astrophysics), surge para revolucionar a forma como as propriedades estelares são inferidas. Desenvolvido por Ilay Kamai, Alex M. Bronstein e Hagai B. Perets, o DESA integra curvas de luz e espectros para aprender um espaço latente unificado e fisicamente significativo para as estrelas. O modelo DESA opera treinando encoders separados e específicos para cada modalidade, utilizando um esquema híbrido supervisio...
Leia mais »

Desvendando o Cosmos: O Papel da Fotônica em Instrumentos Astronômicos de Próxima Geração

-
O campo da astrofotônica, que se concentra na integração de dispositivos fotônicos em instrumentos astronômicos, tem experimentado um crescimento significativo nos últimos anos. Esta área de estudo emergente é fundamental para o avanço da astronomia, oferecendo vantagens cruciais como redução de custos devido à maior reprodutibilidade, melhor estabilidade térmica e mecânica, e a miniaturização de equipamentos. O artigo "Progress in photonic technologies for next-generation astrophotonic instruments" de Ahmed Shadman Alam, aborda os avanços recentes neste domínio promissor. A astronomia, por sua natureza, depende intrinsecamente da análise de ondas eletromagnéticas provenientes do espaço. Consequentemente, o desenvolvimento de instrumentos astronômicos sempre foi impulsionado por inovações em tecnologia óptica. A fotônica, como um ramo da tecnologia óptica, lida com a geração, guia e medição de ondas de luz, e sua integração em dispositivos tem se tornado uma área de pesqui...
Leia mais »

Emulação da Evolução de Halos de Matéria Escura com Modelos Generativos Gráficos

-
Um artigo recente disponível no arXiv, intitulado "Emulating Dark Matter Halo Merger Trees with Graph Generative Models" (arXiv:2507.10652), apresenta uma abordagem inovadora para a simulação da formação e evolução de estruturas no universo. O estudo, conduzido por Tri Nguyen, Chirag Modi, Siddharth Mishra-Sharma, L. Y. Aaron Yung e Rachel S. Somerville, propõe a utilização de modelos generativos gráficos para emular as árvores de fusão de halos de matéria escura. As árvores de fusão são ferramentas cruciais na astrofísica e cosmologia, pois rastreiam a montagem hierárquica de halos de matéria escura ao longo do tempo cósmico. Estes halos servem como estruturas fundamentais nas quais as galáxias se formam e evoluem, tornando as árvores de fusão um insumo essencial para modelos semi-analíticos de formação de galáxias. Tradicionalmente, a construção dessas árvores depende de suposições ad-hoc e muitas vezes não consegue incorporar informações ambientais relevantes, o que ...
Leia mais »

SSDs: Otimização Essencial para o Futuro do Armazenamento de Dados

-
Drives de Estado Sólido (SSDs) revolucionaram o armazenamento de dados devido à sua alta performance, eficiência energética e confiabilidade. No entanto, com o contínuo crescimento das demandas por armazenamento, os SSDs enfrentam desafios crescentes em escalabilidade, durabilidade, latência e segurança. Uma análise abrangente sobre a arquitetura de SSDs, seus desafios cruciais e as técnicas de otimização no nível do dispositivo é fundamental para o avanço da tecnologia. A arquitetura fundamental dos SSDs engloba componentes essenciais, como as estruturas da memória flash NAND, as funcionalidades do controlador de SSD – que incluem mapeamento de endereço, coleta de lixo e nivelamento de desgaste – e os protocolos de interface com o host, como SATA, SAS e NVMe. A compreensão desses elementos é a base para identificar as áreas passíveis de melhoria e otimização. Entre os desafios mais proeminentes enfrentados pelos SSDs, destacam-se a degradação da confiabilidade, as limitações de ...
Leia mais »

PyMGal: Gerando Observações Ópticas Sintéticas de Simulações Astrofísicas

-
Um novo pacote Python chamado PyMGal foi desenvolvido para auxiliar pesquisadores em astrofísica na geração de observações ópticas sintéticas a partir de simulações hidrodinâmicas de galáxias. Apresentado no artigo arXiv:2507.00123, de Patrick Janulewicz e Weiguang Cui, o PyMGal visa facilitar a comparação direta entre os resultados de simulações teóricas e os dados obtidos por telescópios reais. O PyMGal funciona lendo as propriedades de partículas estelares de simulações hidrodinâmicas. A partir dessas propriedades, o pacote gera distribuições de energia espectral (SEDs) utilizando uma variedade de modelos de populações estelares que podem ser customizados pelo usuário. Com as SEDs geradas, o programa é capaz de calcular o brilho das partículas em diferentes unidades de saída para centenas de filtros únicos. Uma das principais funcionalidades do PyMGal é a projeção dessas quantidades em um plano 2D, mimetizando uma observação telescópica. O software é compatível com diversos fo...
Leia mais »

NeutroSENSE: Detecção de Intrusões em IoT com Lógica Neutrosófica e Abstenção Inteligente

-
Um novo trabalho de pesquisa intitulado "Deciding When Not to Decide: Indeterminacy-Aware Intrusion Detection with NeutroSENSE" propõe uma abordagem inovadora para a detecção de intrusões em ambientes de Internet das Coisas (IoT). O artigo, assinado por Eyhab Al-Masri, apresenta o NeutroSENSE, uma estrutura de ensemble aprimorada por lógica neutrosófica projetada para ser interpretável e eficaz na identificação de atividades maliciosas. O cerne do NeutroSENSE reside na integração de algoritmos de aprendizado de máquina populares, como Random Forest, XGBoost e Regressão Logística, com a lógica neutrosófica. Essa combinação permite que o sistema não apenas faça previsões sobre a natureza do tráfego de rede (malicioso ou benigno), mas também decomponha a confiança dessa previsão em três componentes: verdade (T), falsidade (F) e indeterminância (I). Essa quantificação da incerteza é um diferencial, pois fornece uma métrica clara (o componente I) para entender o quão incerta é ...
Leia mais »