[Huatai Securities: Focus on the liweweight Application of the AI Large Model on the Terminal Side] Huatai Securities Research News dijo que la tecnología de compresión del modelo es la tecnología central para realizar el despliegue lateral/final del modelo grande de IA. En la actualidad, Google, Microsoft, Tencent y otros fabricantes tienen diseño en este campo, lo que acelerará la integración de la tecnología de IA y terminales inteligentes, y se espera que las empresas nacionales de diseño SoC se beneficien profundamente. La tecnología de compresión del modelo puede reducir la demanda de potencia de raciocinio manteniendo al mismo tiempo el rendimiento original y la precisión del modelo grande básicamente sin cambios: 1) cuantificación: transformación de la computación flotante - punto fijo en computación de bajo - bits fijo - punto de computación; 2) poda de red: eliminación de canales redundantes y nodos neuronales en la red neuronal; 3) destilación del conocimiento: el modelo grande se utiliza como modelo docente y su salida se utiliza para capacitar al modelo estudiantil con un rendimiento similar y estructura más simple.