大模型训练通常要啃完几万亿个词，才能练出像样的本事。但上海人工智能实验室和上海交通大学人工智能学院LUMIA Lab的团队，硬是把这本账重新算了一遍——他们只花了对手一半的Token预算，就追平了最终训练效果。
打个比方，别人烧完一整箱油才够到的位置，他们半箱油就到了。
这组数字相当扎眼。团队训练了一个叫NCP-ArchPreview的模型，参数规模89亿，基于5.73T的Dolma-3语料。它只用了51.3%的Token预算，就追平了OLMo-3-7B的最终预训练Loss。换算成速度，等效收敛快了1.95倍，计算效率系统性提升1.74倍。到了下游任务上，综合表现领先2.45分，其中GSM8K数学推理一口气涨了近6分。
这背后是一次对“逐词预测”老套路的正面挑战。
过去大模型预训练的核心逻辑很简单：给定前文，猜下一个词是什么。这个范式统治了很多年，但团队觉得它不够聪明——就像让你读一本书，你只是一个字一个字往下念，脑子里并没有形成真正的概念。
他们提出的新任务叫“下一个概念预测”（NCP）。模型不再盯着下一个词硬猜，而是先想清楚下一个概念长什么样，有点像从“死记硬背”切换到“理解大意”。
为了做到这一点，NCP-ArchPreview搭了一条三段式流水线。它先用乘积量化建起一个超大的离散概念表征空间，相当于给模型准备了一个巨型概念仓库。然后通过可微的下一个概念预测、因果防泄漏反馈机制和分层残差路由，让模型能显式地建模未来的概念。这是全球首个89亿参数规模的离散隐空间基座模型。
惊喜不止在预训练阶段。团队发现，只微调17M的隐空间参数就能超越LoRA的效果，而且没有遗忘的老毛病。训练吞吐量上去了，显存占用反而降下来了。把这个概念表征注入草稿模型后，推测解码的平均接受长度提升了4.17%，在代码任务上更是涨到7.59%，为推理加速开了条新路。
团队还大方分享了踩坑经验，构建了千亿级代理指标筛选机制，并把全程阶段性Checkpoint、评测框架在内的全部资产一并开源。
对于想在模型微调和推理加速上找突破口的研究者来说，这套隐空间思路相当于一份刚出炉的路线图。当行业还在卷数据量、卷算力的时候，换一种方式“理解概念”，或许才是下一阶段真正的效率来源。