MATER: Reconhecimento de Emoção na Fala com Representação Multimodal e Interpretável
Um artigo recente disponível no arquivo arXiv (arXiv:2506.19887) introduz o framework Multi-level Acoustic-Textual Emotion Representation (MATER), proposto como contribuição para o desafio Speech Emotion Recognition in Naturalistic Conditions (SERNC). O trabalho aborda o reconhecimento categórico de emoções e a predição de atributos emocionais na fala em condições do mundo real, que apresentam complexidades como variabilidade entre e dentro dos indivíduos.
Para lidar com essas complexidades, o MATER emprega uma abordagem hierárquica inovadora que integra características acústicas e textuais em múltiplos níveis de representação: no nível da palavra, no nível da elocução e no nível de embedding. Essa fusão busca combinar pistas lexicais e acústicas de baixo nível com representações contextualizadas de alto nível. O objetivo é capturar efetivamente tanto as variações prosódicas finas quanto as nuances semânticas presentes na fala natural.
Além da integração de características em múltiplos níveis, o framework MATER incorpora uma estratégia de ensemble com consciência de incerteza. Esta estratégia é introduzida para mitigar as inconsistências frequentemente encontradas entre anotadores em expressões emocionais ambíguas, visando melhorar a robustez do sistema.
O artigo descreve a aplicação do MATER no desafio SERNC. Os resultados apresentados indicam que o MATER alcançou a quarta posição geral em ambas as tarefas do desafio, com um Macro-F1 de 41,01% e um CCC médio de 0,5928. Notavelmente, o framework obteve o segundo lugar na sub-tarefa de predição de valência, com um impressionante CCC de 0,6941. Este desempenho sublinha a eficácia da abordagem multi-nível e da estratégia de ensemble na tarefa de reconhecimento de emoção na fala em cenários naturais e desafiadores.