本文源自:市场资讯

国家知识产权局信息显示，北京积步千里科技有限公司申请一项名为“横向混合注意力机制的模型训练方法、介质、设备及程序产品”的专利，公开号CN121031665A，申请日期为2025年8月。

专利摘要显示，本申请提供一种横向混合注意力机制的模型训练方法、介质、设备及程序产品，方法包括：获取包含多个样本序列的数据集，数据集中的每个样本序列由经分词处理得到的多个Token顺序排列组成；基于预训练的全注意力模型构建待训练模型，并增加用于线性注意力计算的新增参数；在同一横向混合注意力层中，对位于预设全注意力计算范围内的Token集合执行全注意力计算，对全部Token执行线性注意力计算，并融合两者结果，得到用于前向推理和损失计算的横向混合注意力输出；基于所述输出及预测结果，仅更新新增参数优化待训练模型，直至待训练模型收敛。本申请降低了长文本序列处理的计算复杂度与显存占用，提高了推理速度与资源利用率。

天眼查资料显示，北京积步千里科技有限公司，成立于2023年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本30000万美元。通过天眼查大数据分析，北京积步千里科技有限公司拥有行政许可2个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。