通义发布QwenLong-L1, 长上下文大型推理模型, 强在哪里？_人工智能|算法

文章图片

文章图片

文章图片

为了解决大型推理模型如何将 LRM 扩展至通过强化学习有效地处理和推理长上下文输入的难题，通义智文提出了 QwenLong-L1 框架，该框架通过渐进式上下文扩展将短上下文 LRM 适配到长上下文场景。具体而言，就是利用预热监督微调 (SFT) 阶段建立稳健的初始策略，然后采用课程引导的分阶段强化学习技术来稳定策略演化，并采用难度感知的回顾性采样策略来激励策略探索。

首先需要知道，它解决了什么问题？虽然最近的大型推理模型 (LRM)（例如 OpenAI 的 o1）通过强化学习展现出了令人印象深刻的推理能力，但这些改进仅限于短上下文任务（约 4K 个 token）。

短上下文和长上下文推理 RL 的训练动态比较

长上下文推理强化学习面临两大关键挑战：训练效率不理想，由于熵值降低较多导致奖励得分提升较慢；优化过程不稳定，由于较长输出的方差较大，导致 KL 散度波动较大。
挑战在于，如何扩展这些模型以处理长上下文输入（超过 12 万个 token）同时保持强大的推理能力仍未得到解决。这对于需要处理大量文档、进行深入研究或处理信息密集型环境的实际应用尤其成问题，因为在这些环境中，模型既需要从长上下文中检索相关信息，又需要执行多步推理。

它是如何解决这个问题的？QWENLONG-L1 整体架构，这是一个新颖的长上下文推理强化学习训练框架
QwenLong-L1 是一个渐进式上下文扩展框架，该框架集成了群体相关强化学习算法、混合奖励机制和渐进式上下文扩展策略，能够稳定地从短上下文到长上下文的 LRM 进行自适应，并具备强大的上下文基础和多步推理能力，可以系统地将短上下文推理模型适应长上下文场景。
他们的方法包括三个关键组成部分：
首先，预热监督微调 (SFT) 阶段，用于建立强大的初始策略；
其次，课程指导的分阶段强化学习技术，在训练阶段逐步增加上下文长度以稳定优化；
第三，采用难度感知的回顾性抽样策略，优先考虑具有挑战性的样本，以鼓励策略探索。他们还实施了混合奖励机制，将基于规则的验证与 LLM 作为评判者的评估相结合，以平衡准确率和召回率。
主要发现是什么？

QWENLONG-L1 在七个长上下文推理基准中的总体结果
QwenLong-L1 在七个长上下文文档问答基准测试中取得了领先的性能，其中 32B 模型的表现超过OpenAI-o3-mini 和 Qwen3-235B-A22B 等旗舰模型，甚至与 Claude-3.7-Sonnet-Thinking 的性能相当。研究表明，渐进式上下文缩放可以在训练过程中实现更高的熵并稳定 KL 散度，而强化学习则自然地培养了专门的长上下文推理行为，例如基础推理、子目标设定、回溯和验证，从而提升了最终性能。
为什么这很重要？这使得 LRM 在需要大量上下文处理的实际应用中具有实用价值。这项研究为长上下文推理强化学习提供了首个系统性框架，解决了训练效率和优化稳定性方面的关键挑战。这一进展为人工智能系统打开了大门，使其能够进行自动化科学研究、分析长视频，以及处理复杂的信息密集型任务，这些任务需要上下文基础和对海量信息进行复杂的推理。
【通义发布QwenLong-L1, 长上下文大型推理模型, 强在哪里？】\u0002\u0002\u0002\u0002\u0002

通义发布QwenLong-L1, 长上下文大型推理模型, 强在哪里？

推荐阅读

挂着羊头卖狗肉是什么意思呢

烟雨江湖声望怎么获得

mac色号怎么看

槟榔口香糖兴起是怎么回事槟榔口香糖吃了有没有害

关于十年友情的搞笑句子

黄小米有哪些功效

梦见偷南瓜花梦见偷南瓜花挨保安抓

V360购买后的总体印象

五常是县还是个市

qq空间定时说说怎么取消

康巴赫锅真没有涂层吗，康巴赫炒锅真没涂层吗、那黑颜色是什么？

杭州银行网点，就问杭州银行有多少网点

布艺沙发的选购知识-布艺沙发的搭配知识

南通是个怎样的城市

火车怎么变换轨道

陕西省高考成绩公布时间，我是2012陕西理科生高考成绩高出13分求建议