Reducir el Costo de Inferencia en Modelos Pequeños Especializando el Vocabulario

Un estudio demuestra cómo especializar el vocabulario de modelos pequeños de lenguaje (SLMs) puede reducir significativamente los costos de inferencia hasta un 77% en aplicaciones reales. Esta técnica optimiza la eficiencia computacional sin comprometer el rendimiento, siendo especialmente relevante para desplegar modelos en recursos limitados.