你的位置：红色av > 色之阁 >

只消微调模子生成的前 8-32 个词白丝 做爱，就能让大模子推明智商达到和传统监督矜重一样的水平？

腾讯 AI Lab 与香港汉文大学（深圳）合营开展了一项新商榷，提倡了这么一种名为无监督前缀微调（UPFT）的顺序。

UPFT 大大捏造了矜重模子的数据坐蓐本钱，能够将矜重时刻裁汰约 75%，并将采样本钱捏造约 99%。

团队商榷发现，环节的正确推理信号，透顶藏在模子的"前几步"里，将这种样式称为"推理前序自一致性"。

基于这一发现，团队尝试仅微调模子生成的前 8-32 个词，收尾其推明智商真的可达到与传统监督矜重相等的水平。

UPFT 不仅捏造了大模子的矜重耗时和采样本钱，在减少矜重序列长度和内存虚耗方面也展示了权贵上风，矜重序列长度缩减了 82.6-94.7%。

冲破大模子矜重算力瓶颈

数据坐蓐是矜浩大模子（LLM）历程中的一浩劫题，尤其是算力本钱的快速攀升给商榷和应用带来了宽敞挑战。

传统顺序在让模子学会推理时，通常摄取生成大量候选解，然后从中筛选出正确的推理旅途进行矜重的模式。

这种战术看似径直，但实验操作中却濒临诸多费事。

以数学解题为例，上述顺序通常需要为每谈题陌生成 16 个候选解，再从中筛选出正确的无缺推理链。

这种模式对算力的需求极大——每次矜重迭代，模子需要进行数十次采样，GPU 算力虚耗呈现快速增长的趋势。

单次数据坐蓐可能虚耗数百万 token 的算力资源，而当题目难度增多时，所需的采样量和算力支出还会进一步升迁。

这种高本钱的矜重模式，不仅效劳较低，也成为本事落地的一大拦阻。

在小边界实验中，这种顺序尚可拼集撑握，但若面对百万级题库，算力本钱的压力将变得难以承受。

商榷团队发现，与其让模子进行大量盲目采样，不如将重心放在识别实在遑急的正确推理信号上。

这种更有针对性的战术不仅能够升迁效劳，还能权贵捏造算力支出。接下来，咱们将进一步议论他们的中枢发现和贬责决议。

找到 AI 解题的环节信号

在 AI 贬责数常识题的历程中，东谈主们能够会以为它具备某种"顺水推船"的智商，但事实真的如斯吗？

通过一系列严谨的实验，商榷者们揭示了一个令东谈主骇怪的样式：

AI 在解题时，实在决定正确谜底的推理信号，可能早已荫藏在其推理旅途的"前几步"之中。

这一样式被商榷者称为"推理前序自一致性"。

具体而言，不管 AI 在后续的推理历程中如何"发散想维"，其推理旅途的来源简直呈现出高度一致的模式。

这一发现不仅揭示了 AI 解题的底层逻辑，也为优化矜重战术提供了全新的视角。

以一个典型实验为例，商榷者让模子针对某谈数学题生成了 8 个不同的解题决议（符号为 A1 至 A8）。

尽管这些决议的最终谜底可能天渊之别，但令东谈主不测的是，前 32 个词的内容简直完全疏导。

这一样式标明，AI 推理历程中的环节信号似乎积聚在推理的起始部分，尔后续的"发散"更多是表象。

△让模子针对脱色问题，当场生成 8 次解答

为了进一步探明这一样式的本色，商榷团队分别使用通用型模子（Llama-3.1-8B-Instruct）和数学专精模子（Qwen2.5-Math-7B-Instruct）进行了实验。

商榷者让这两款模子针对一系列数学题陌生成了多达 1000 条解题决议，并对这些推理旅途进行了防卫分析。

实验收尾标明，有大量的孤立推理旅途分享疏导的推理前序。

况兼跟着前缀长度的增多，每种推理前序所对应的平均推理旅途数目渐渐减少，AI 生成的解题决议启动呈现出"分化"的趋势。

这一发现为"推理前序自一致性"提供了强有劲的凭证，也进一步阐明了环节推理信号积聚在推理起始的假定。

△前序长度和推理旅途数目的关系

既然不同的推理旅途可能分享疏导的推理前序，那么一个环节问题随之而来——

究竟需要多长的前序长度白丝 做爱，才调灵验分离正确与乖张的推理旅途？

为了回答这一问题，商榷团队瞎想了挑升的实验，分别从正确和乖张的推理旅途中索取样本，并针对这些旅途的前序部分进行了大边界采样分析。

实验收尾下图所示，商榷者发现了一个遑急的临界点：

唯有刻下序长度高出某个临界长度时，正确旅途与乖张旅途之间的各别才启动线路，并能够被灵验分离。

这一发现标明，前序长度在推理旅途的分化中起着至关遑急的作用，而这个临界长度则为后续优化模子推理战术提供了一个遑急的参考圭臬。

△正确和乖张在开头部分很难分离从贝叶斯视角看问题：掩盖范围与准确性的均衡

为了更深远地贯通这一问题，商榷团队引入了一种基于贝叶斯框架的科学视角，来重新注释矜重历程。

浅易来说，贝叶斯框架是一种概率推理的顺序，它匡助咱们贯通模子在面对一个问题时，如何通过不同的推理旅途得出正确谜底的可能性。

在这一框架下，模子的弘扬可以被解析为两个环节身分：推理旅途的"掩盖范围"和"准确性"。

掩盖范围指的是模子在面对一个问题时，能够探索到几许种不同的解题想路。

用贝叶斯的言语来说，这相等于模子在生成推理旅途时的"先验散布"——即模子能够掩盖的解题想路越粗俗，它找到正确谜底的可能性就越高。

准确性指的是在某一条具体的推理旅途上，模子最终得出正确谜底的可能性。

在贝叶斯框架中，这可以看作是"条目概率"——即给定某条推理旅途，模子得出正确谜底的概率越高，这条旅途的质料就越好。

传统的"闭幕微调"战术固然在保证准确性方面弘扬可以——因为它只遴选了那些最终谜底正确的推理旅途——但却忽略了掩盖范围的遑急性。

换句话说，这种顺序过于"抉剔"，只柔软了"正确谜底"，而莫得充分支配那些可能包含可贵解题想路但最终谜底乖张的推理旅途。

这种"只选一个正确谜底"的作念法，实验上禁止了模子的学习后劲。

△均衡数据准确性和数据掩盖进程

基于上述分析，商榷者们提倡了一种新顺序，试图找到一个均衡点，既能保证谜底准确，又能探索更多解题想路。

他们发现，解题旅途的前半部分（称为"前缀"）通常包含了多种可能的解题想路，尔后半部分则更决定最终谜底是否正确。

因此，他们提倡只矜重模子生成前缀部分，既能掩盖更多解题想路，又能减少计较本钱。

具体来说，他们让模子生成解题旅途的前半部分，并用这些前缀来矜重模子，从而在效劳和成果之间找到更好的均衡。

商榷东谈主员将这种顺序定名为无监督前缀微调（Unsupervised Prefix Finetuning, UPFT ) 。

关于每谈题目，他们只生成一条推理旅途，而不是像传统顺序那样生成多达 16 条。

同期，他们对生成的内容进行了优化：关于 10% 的题目，生成无缺的解题旅途；而关于剩下的 90%，只生成解题旅途的前半部分（即前几个环节法子）。

这种模式既粗浅了计较资源，又能让模子构兵到各种化的解题想路。

1/10 采样本钱获得更优性能

为了考据 UPFT 顺序的灵验性，商榷团队测试了以下两种场景：

关于莫得圭臬谜底的数据进行无监督采样：每个问题仅采样一个贬责决议，不进行过滤。

关于有圭臬谜底的数据进行有监督采样：传统顺序每题采样 16 个贬责决议，通过正确谜底筛选正确贬责决议。

在实验成就上，商榷团队使用了通用模子（Llama-3.1-8B-Instruct）和数学专用模子（Qwen2.5-Math-7B-Instruct），以及当今十分火热的 R1 类型的长想维链模子（DeepSeek-R1-Distill-Qwen-7B）。

测试遴选了多个具有挑战性的推理基准测试，包括 GSM8K（数学推理）、Math500（复杂数学题）、AIME2024（数学竞赛题）和 GPQA（抽象科学推理）。

收尾，UPFT 在性能和本钱上齐展现了权贵上风，升迁性能的同期减少了矜重 token 数目。

UPFT 提高无监督上限

收尾标明，与传统的监督微调（SFT）比较，UPFT 在多个方面弘扬出色：

在使用 U-Hard 数据集时，Qwen2.5-Math-7B-Instruct 的 UPFT 准确率达到了 54.5%，而 SFT 仅为 51.3%。

关于 DeepSeek-R1-Distill-Qwen-7B，UPFT 达到了 61.6% 的准确率，而 SFT 为 56.4%。

△UPFT 和传统 SFT 顺序的无监督对比实验收尾

在更具挑战性的任务（举例 AIME2024 和 GPQA）中，UPFT 的弘扬更为杰出。

在 AIME2024 上，Qwen2.5-Math-7B-Instruct 的 UPFT 准确率为 26.6%，比较之下，SFT 为 16.7%。关于 DeepSeek-R1，UPFT 达到了 50.0%，而 SFT 为 36.7%。

在 GPQA 科学推理任务中，UPFT 相同弘扬优异，超过了 SFT。

在效劳方面，UPFT 展示出了极大的上风。UPFT 权贵减少了矜重序列长度，缩减了 82.6-94.7%。

在 U-Hard 上的平均 token 数为 68.2，而 SFT 需要 393.3 个 token，内存虚耗大幅捏造。在 DeepSeek-R1-Distill 模子上仅用 561 个符号就优于 SFT 的 3440 个符号，高傲了其极高的效劳。

UPFT 超过有监督 SFT 性能

为了进一步探究 UPFT 的效劳极限，商榷团队对比了需要进行大量采样的传统顺序，即需要标签考据来过滤掉正确贬责决议，来杰出 UPFT 的效劳上风。

收尾高傲，在 Qwen2.5-Math-7B-Instruct 上，UPFT 和落拓刷题的 RFT 准确率打平（52.6%），但 UPFT只用 1.2% 的采样 token（0.6M vs 51.7M）。

同期 UPFT 在 DeepSeek-R1-Distill-Qwen-7B 上飙到 58.7%，比 RFT 高 1.5 个点，采样 token 的破耗却只需要 RFT 的 1%，矜重 token 破耗仅为 RFT 的 25%。

在基座模子 Llama-3.1-8B-Instruct 上，UPFT 得分 38.3%，跟 V-STaR 并肩。然则在增多了标签过滤后的 UPFT 性能高出 RFT，得分 38.8%，展示出 UPFT 与现存顺序的兼容性。

△UPFT 在有监督场景下仍然击败了传统 SFT 以及 V-STaR 顺序 UPFT 对前缀长度比较鲁棒

为了揭秘前缀长度对模子性能影响，商榷团队张开了进一步的实验。

商榷者们通过实验发现，不同模子在解题旅途前半部分的长度（即"前缀"长度）瞄准确性的影响比较鲁棒。

以 Llama-3.1-8B-Instruct 模子为例，当解题旅途的前半部分包含 8 个 token 时，模子的准确率渐渐升迁至 52.0% 然后渐渐下落， 关于 Qwen2.5-Math-7B-Instruct 模子的弘扬则有所不同， 其性能在前 32 个 token 处均舒服提高。

这标明，不同模子对解题旅途前半部分的依赖进程存在各别，商榷者们据此可以针对不同模子瞎想更符合的矜重战术。

△矜重的推理前缀长度和对应模子性能

总之，这项商榷为大言语模子的高效、低本钱矜重开采了新旅途。

当年，商榷团队策画陆续探索 UPFT 的后劲，进一步优化模子矜重效劳，并探索与现存顺序的兼容性。

作家简介

本文的通信作家为涂兆鹏，腾讯各人商榷员，商榷标的为深度学习和大模子，在外洋顶级期刊领略议上发表学术论文一百余篇，援用高出 9000 次。担任 SCI 期刊 NeuroComputing 副主编，屡次担任 ACL、EMNLP、ICLR 等外洋顶级会议边界主席。

第一作家为香港汉文大学（深圳）博士生冀轲，腾讯 AI Lab 高档商榷员徐嘉豪，梁添，刘秋志。

论文地址：

https://arxiv.org/abs/2503.02875

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 技俩主页聚首，以及相干模式哦

咱们会（尽量）实时回应你

一键柔软 � � 点亮星标

科技前沿进展逐日见

一键三连「点赞」「转发」「留神心」

宽待在驳斥区留住你的目的！白丝 做爱