正文(AI 核查整理)

Reddit用户u/IndividualSurvival公开了一项家庭实验室测试:在不安装显卡的情况下,使用已停产的英特尔傲腾持久内存200系列、40核第三代英特尔至强可扩展处理器及llama.cpp,运行2.8万亿参数的月之暗面Kimi K3模型。

测试采用App Direct模式,将DRAM与傲腾作为独立数据空间呈现给软件,并通过1比特量化压缩模型数据。初始生成速度约为每秒0.85个词元;关闭DAX直接访问、让常用数据进入DRAM缓存后,提升至每秒1.50个词元。

性能代价依然明显。3比特量化测试仅达到每秒0.75个词元,生成5万个词元约需18.5小时。这是一项技术可行性实验,而非可与数据中心GPU推理直接相比的生产方案,模型加载、内存容量和软件适配仍是约束。

对游戏开发者而言,它的价值在于证明超大模型推理存在不同于GPU集群的技术路径。理论上,工作室可以借此探索本地代码辅助、文本处理或原型验证,但需要评估响应速度、并发能力、硬件采购与维护成本,不能仅凭模型成功运行就替换现有工具。

更可行的采用方式,是把此类低成本推理限定在非实时、容错率较高的内部任务,例如批量资料处理或原型辅助,同时用实际游戏资产和团队流程做基准测试。若目标是实时生成关卡、驱动NPC或支撑在线服务,高性能GPU与专业推理平台仍更直接。