（来源：开普云）

2024年，开普云推出超小型AI一体机“开悟魔盒”，凭借小巧体积与本地化部署能力，已在政企客户中实现安全、便捷的大模型应用落地，获得积极反馈。

为满足用户在智能体并发处理、长文本生成等复杂任务中对更高算力的需求，开普云推出升级产品——开悟魔盒PRO，该设备搭载NVIDIA Thor平台，在继承前代产品便携、离线运行等优势的基础上，通过软硬件协同优化，进一步提升本地AI推理性能，支持更复杂的智能体应用场景。

开普云团队在“开悟魔盒Pro”上成功实现235B大模型的双机 QSFP 高速互联部署。双机协同后等效算力超过4000 TOPS，并通过RDMA零拷贝通道与QSFP链路实现跨节点256GB显存共享与模型分片推理。在此架构下，235B模型能够在两台设备上稳定并行运行，长上下文与多智能体并发任务均达到在线级别的吞吐与稳定性。

目前，开悟魔盒PRO已完成主流大模型推理框架的适配与性能调优，完成“开普云开悟智能体平台”与“开悟AI助手”的集成与验证。系统可在本地完整运行智能体工作流，实现从任务解析、知识检索到内容生成的闭环处理，AI性能全面超越Ampere架构设备。

01 核心功能覆盖典型政企场景

基于Thor的高性能计算能力，开悟魔盒PRO在多个核心业务场景中实现稳定支持，包括：

知识库问答：支持结构化知识检索与快速问答，保持较低首字延迟；公文写作：基于标准化模板自动生成，生成速度和稳定性较桌面级 GPU 平台保持一致；解读分析：对长文档进行解析、摘要与要点抽取，延迟显著优于前代硬件方案；长文写作：可稳定生成 2 万字以上的长篇内容，端到端时间在可接受范围内；信息公开与保密审查：结合规则库与大模型推理，实现对政企文件的自动化审查。02 推理性能显著提升

通过适配vLLM推理框架并结合自研KV Cache优化技术，开悟魔盒PRO的推理效率显著提高，主要指标如下：

AI计算性能从275 TOPS提升至2000 TOPS；首字延迟（TTFT）较传统 Ampere架构平台降低超过400%；高并发场景下的吞吐性能提升至20倍以上，可同时支撑多路智能体服务；长上下文推理（16k tokens 级别）响应时间缩短为上一代产品的1/10。

上述表现表明，该设备已具备支撑实际业务中端到端多并发高性能模型推理服务的能力。

03 系统架构稳定，易于部署集成

开悟智能体平台采用Docker化部署方式，通过标准化API接口与硬件解耦，可在Thor上直接运行，已完成：

模型层 → 平台层 → 应用层的完整适配；软硬件协同优化，在GPU利用率与内存占用之间取得平衡；稳定运行验证，在长时间运行与高负载测试下，未出现内存泄漏或推理中断。04产品亮点

超小型一体化设计：体积小巧，集成了强大的GPU、大参数模型和AI智能应用技术。结合本地知识构建AI应用：将本地化的专业语料库与大模型的综合分析能力相结合，实时构建具备行业专业知识的AI应用。灵活便捷的AI能力接入：可以直接放置在用户桌面端，作为智能外设接入用户原有的电脑设备，为客户在既有的办公环境下，新增基于大语言模型的AI系列智能化能力。

模型能力卓越：内置了“开普云开悟大模型”，采用模型压缩技术，优化算法和内存管理，支持320亿-800亿参数大模型在边缘设备上流畅运行，响应迅速，适应私有数据密集型任务处理。

开悟魔盒PRO可广泛应用于政务、能源、媒体、金融、公安、科研、电力等多个行业领域，为不同场景提供安全高效的智能化支持，切实助力各行业用户轻松完成复杂任务，推动办公模式向智能化转型。此次升级标志着开普云在边缘智能领域的技术再创新高，进一步拓展了开悟魔盒系列产品的行业适配性，为政企客户打造更可靠、更强大的本地化AI基础设施。