本文源自:市场资讯

国家知识产权局信息显示，上海华讯网络系统有限公司、中电科数字科技（集团）有限公司申请一项名为“大语言模型分阶段预训练方法及系统”的专利，公开号CN121072639A，申请日期为2025年8月。专利摘要显示，本发明提供了一种大语言模型分阶段预训练方法及系统，包括使用基础数据集训练Transformer模型，优化负对数似然目标，采用AdamW优化器和余弦衰减学习率；基于第一阶段参数，使用通用知识数据集继续训练；采用过采样策略加权训练领域专业数据。通过结构化训练目标和数据类型，模型能分阶段高效学习语言基础、通用知识和专业技能。实验表明，该方法使模型在基础阶段训练效率提升40％，整体训练时间缩短30％，同时在专业领域任务上的准确率比传统端到端训练高15％～20％。最终模型参数通过专业能力评估，兼具通用语言理解和领域专长。

（注：公司简称选择华讯网络是基于上海华讯网络系统有限公司的合理简称，若有其他要求可调整；效果选择“基础阶段训练效率提升40％”符合模板要求的单一效果输出。）

华讯网络申请大语言模型分阶段预训练方法及系统专利，使模型在基础阶段训练效率提升40％

国家知识产权局信息显示，上海华讯网络系统有限公司、中电科数字科技（集团）有限公司申请一项名为“大语言模型分阶段预训练方法及系统”的专利，公开号CN121072639A，申请日期为2025年8月。专利摘要显示，本发明提供了一种大语言模型分阶段预训练方法及系统，包括使用基础数据集训练Transformer模型，优化负对数似然目标，采用AdamW优化器和余弦衰减学习率；基于第一阶段参数，使用通用知识数据集继续训练；采用过采样策略加权训练领域专业数据。通过结构化训练目标和数据类型，模型能分阶段高效学习语言基础、通用知识和专业技能。实验表明，该方法使模型在基础阶段训练效率提升40％，整体训练时间缩短30％，同时在专业领域任务上的准确率比传统端到端训练高15％～20％。最终模型参数通过专业能力评估，兼具通用语言理解和领域专长。

天眼查资料显示，上海华讯网络系统有限公司，成立于2000年，位于上海市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本12000万人民币。通过天眼查大数据分析，上海华讯网络系统有限公司共对外投资了4家企业，参与招投标项目5000次，财产线索方面有商标信息62条，专利信息94条，此外企业还拥有行政许可13个。

中电科数字科技（集团）有限公司，成立于2012年，位于上海市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本150000万人民币。通过天眼查大数据分析，中电科数字科技（集团）有限公司共对外投资了9家企业，参与招投标项目19次，财产线索方面有商标信息20条，专利信息38条，此外企业还拥有行政许可1个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。