近日，美国卡内基梅隆大学助理教授陈贝迪和团队提出了“动力学扩展定律”（Kinetics Scaling Law）。在该定律的指导之下，当在英伟达 B200 上实现相同精度时，资源需求最高可降低至原来的三分之一。 本次研究团队证明，稀疏注意力从根本上重塑了扩展格局，使得生成内容的长度更长、精度更高。其在论文中表示，稀疏动力学可能预示着一种新范式，这种新范式使得即便在预训练进入平台期后仍能推动持续进步。 研究中，他们还强调了将模型架构、测试时推理技术与硬件基础设施进行协同设计的必要性，并认为这是推动下一波可扩展大模型部署的关键步骤。虽然本次分析主要集中在英伟达 GPU 上，但“扩展内存带宽比扩展浮点运算（FLOP，floating-point operation）能力更具挑战性且成本更高”这一基本原理广泛适用于各类硬件平台，因此本次成果具有一定的普适性。 研究团队表示，他们从实际效率的角度重新思考了测试时扩展定律，发现较小模型的有效性实际上被严重高估了。具体来说，此前人们基于计算最优性的研究工作，其实忽略了推理时策略所引入的关键内存访问瓶颈问题。 而在本次研究之中，他们全面分析涵盖了从 0.6B 到 32B 参数的模型，借此揭示了动力学扩展定律，该定律通过同时纳入计算成本和内存访问成本，能够更好地指导资源分配。 动力学扩展定律表明，在参数超过某个阈值的模型上使用测试时计算，比在较小模型上使用更为有效。一个关键原因是在测试时扩展中，注意力才是主要的成本因素（而非参数数量）。 受此启发，研究团队提出了以稀疏注意力为中心的新扩展范式，该范式可以降低每个 token 的计算成本，从而能在相同的资源预算下，支持更长的文本生成和更多的并行样本处理。 研究团队发现，稀疏注意力模型始终优于密集注意力模型。这说明随着计算投入的增加，稀疏注意力是必不可少的，而且会越来越重要，只有这样才能实现测试时扩展的全部潜力。而与训练不同的是，准确性并未随着计算的增加而饱和，而是会通过增加生成量不断得到提高。 那么，研究团队开展本次课题的原因是什么？这要从测试时扩展（TTS，Test-time scaling）说起。眼下，测试时扩展策略已经成为增强大模型推理能力的一种重要手段，特别是在智能体与复杂环境交互的场景中，例如编写代码、浏览网页等场景中。 然而，这些能力会带来显著的推理时成?