Otimização de Modelos de Machine Learning: Quantização Pós-Treinamento e Além
A área de Machine Learning tem presenciado um avanço significativo impulsionado por modelos cada vez maiores e mais complexos, capazes de realizar tarefas sofisticadas. No entanto, o tamanho e a complexidade desses modelos frequentemente resultam em altos custos computacionais e de memória, dificultando sua implantação em dispositivos com recursos limitados ou em larga escala. Para contornar esses desafios, pesquisadores e engenheiros exploram diversas técnicas de otimização de modelos. Uma abordagem proeminente é a Quantização Pós-Treinamento (PTQ - Post-Training Quantization). Essa técnica consiste em converter um modelo de machine learning já treinado, que geralmente utiliza representações de ponto flutuante de alta precisão (como FP32), para uma representação de menor precisão, como inteiros de 8 bits (INT8), sem a necessidade de retreinar o modelo do zero. O principal benefício da PTQ é a redução significativa no tamanho do modelo e no custo computacional durante a inferência, ...