苹果正在与英伟达协作，思让 AI 的反应速率更快
近日，苹果与英伟达秘书协作，旨在加快和优化妄语语模子（LLM）的推感性能。
为了改善传统自回想 LLM 推理后果低和内存带宽小的问题，本年早些时候，苹果机器学习的不时东说念主员发布并开源了一种名为「ReDrafter」（Recurrent Drafter，轮回草稿模子）的揣摸解码时代。
▲图源：GitHub
现在，ReDrafter 一经整合到英伟达的可膨胀推理决策「TensorRT-LLM」当中，后者是基于「TensorRT」深度学习编译框架的专为优化 LLM 推理而设想的开源库，复旧包括「Medusa」等揣摸解码步调。
不外，由于 ReDrafter 所包含的算法使用了之前从未用过的运算符，因此英伟达方面添加了新的运算符，或者公开了现存的运算符，大大提高了 TensorRT-LLM 合乎复杂模子妥协码模式的才调。
▲图源：GitHub
据悉，ReDrafter 揣摸解码通过三个关键时代来加快 LLM 的推理历程：
RNN 草稿模子
动态树审视力算法
常识蒸馏测验
RNN 草稿模子是 ReDrafter 的「中枢」组件。它使用轮回神经汇注（Recurrent Neural Network），基于 LLM 的「粉饰景象」来权衡接下来可能出现的 tokens 序列，其轻视捕捉局部的时代依赖性，从而提高权衡准确性。
这个模子的责任旨趣是：LLM 在文本生成历程中最初生成一个驱动 token，然后 RNN 草稿模子诈欺该 token 和 LLM 的临了一层粉饰景象手脚输入进行束搜索（Beam Search），进而生成多个候选 tokens 序列。
与传统自回想 LLM 每次只生成一个 token 不同，通过 RNN 草稿模子的权衡输出，ReDrafter 轻视在每个解码才略生成多个 tokens，大大减少了需要调用 LLM 考证的次数，从而提高了举座的推理速率。
▲图源：arXiv
动态树审视力算法（Dynamic Tree Attention）则是一种优化束搜索适度的算法。
咱们一经知说念，在束搜索历程中会产生多个候选序列，而这些序列经常存在分享的前缀。动态树审视力算法会识别出这些分享前缀，并将它们从需要考证的 tokens 中去除，从而减少 LLM 需要科罚的数据量。
某些情况下，该算法能将需要考证的 tokens 数目减少 30% 到 60%。这意味着使用动态树审视力算法后，微交易ReDrafter 轻视更高效地诈欺规划资源，进一步提高推理速率。
▲图源：NVIDIA
常识蒸馏是一种模子压缩时代，它轻视将一个大型、复杂的模子（素质模子）的常识「蒸馏」到一个更小、更简易的模子（学生模子）中。在 ReDrafter 中，RNN 草稿模子手脚学生模子通过常识蒸馏从 LLM（素质模子）中学习。
具体来讲，蒸馏测验历程中，LLM 会给出一系列下一个可能词的「概率散播」，建树东说念主员会基于这个概率散播数据测验 RNN 草稿模子，然后规划两个模子概率散播之间的互异，并通过优化算法使这个互异最小化。
在这个历程中，RNN 草稿模子胁制学习 LLM 的概率权衡模式，从而在本色应用中轻视生成与 LLM 相同的文本。
通过常识蒸馏测验，RNN 草稿模子更好地捕捉到话语的端正和模式，从而更准确地权衡 LLM 的输出，况兼因为其较小的限制和较低的推理规划本钱，显赫提高了 ReDrafter 在有限硬件条目下的举座性能。
▲图源：阿里云建树者社区
苹果的基准测试适度露馅，在 NVIDIA H100 GPU 上对数十亿参数的坐蓐模子使用集成了 ReDrafter 的 TensorRT-LLM 时，其贪念解码（Greedy Decoding）每秒生成的 tokens 数目提高了 2.7 倍。
此外，在苹果自家的 M2 Ultra Metal GPU 上，ReDrafter 也能完毕 2.3 倍的推理速率升迁。苹果的不时东说念主员示意「LLM 越来越多地用于驱动坐蓐应用圭表，提高推理后果既不错影响规划本钱，也不错缩短用户端延伸」。
▲图源：Apple
值得一提的是，在保执输出质地的同期，ReDrafter 减少了对 GPU 资源的需求，这使得 LLM 在资源受限的环境中也能高效地运行，为 LLM 在多样硬件平台上的使用提供了新的可能性。
苹果现在一经在 GitHub 上开源了这项时代，改日从中获益的公司将很可能不啻英伟达一家。