贵州工匠行申请轻量化自然语言处理大模型训练方法专利，降低计算的复杂程度

金融界2025年4月26日消息，国家知识产权局信息显示，贵州师范大学;贵州工匠行科技有限公司申请一项名为“轻量化自然语言处理大模型训练方法”的专利，公开号CN119862925A，申请日期为2025年3月。

专利摘要显示，本发明公开了轻量化自然语言处理大模型训练方法；包括如下步骤，获得处理语言数据；得到已标注的增强数据集；通过语义复杂度动态激活子网络的稀疏化机制，计算得到激活掩码；通过激活掩码的参数敏感度生成量化位宽；对混合精度量化策略进行交叉反馈调节；对训练的学生模型进行评估。本申请通过动态稀疏激活、混合精度量化及协同优化，解决了大模型轻量化中的静态策略僵化、量化精度损失、知识迁移低效等核心问题；动态稀疏激活替代传统静态剪枝，减少语义损失；为了实现对增强数据集进行优化的特征提取，采用融合优化特征；混合精度量化有效的实现对计算的复杂程度进行降低。