北交所开源O1代码版：强化学习与蒙特卡洛树搜索完美融合
北京交通大学的研究团队自主研发了O1-CODER，一个专注于编码任务的人工智能模型，并将其代码、精选数据集和衍生模型全面开源。
O1-CODER：将强化学习与蒙特卡洛树搜索相结合
研究团队认为，编码是一个需要使用系统 2 思维方式的典型任务，它涉及到谨慎、逻辑和逐步的问题解决过程。因此，他们提出了一种将强化学习（RL）与蒙特卡洛树搜索（MCTS）相结合的策略，让模型能够不断生成推理数据，提升其系统 2 能力。
关键发现
在实验中，研究团队获得了以下关键发现：
* 基于伪代码的推理在推理正确时显著提升了代码生成质量。
* 将监督微调（SFT）与直接偏好优化（DPO）相结合能够提升测试用例生成效果。
* 自我对弈强化学习为推理和代码生成创造了持续改进的循环机制。
具体而言，团队采用的测试用例生成器在经过 DPO 后达到 89.2% 的通过率，显著高于初始微调后的 80.8%；Qwen2.5-Coder-7B 采用伪代码方法实现了 74.9% 的平均采样通过率，提升了 25.6%。
逐步优化 O1
应用于代码生成的自我对弈强化学习面临两大挑战：结果评估和定义思考和搜索行为。
针对第一个挑战，团队提出训练一个测试用例生成器（TCG），根据问题和标准代码自动生成测试用例，为强化学习提供标准化的代码测试环境和结果奖励。
针对第二个挑战，他们采取“先思考后行动”的方式：先通过详细的伪代码思考问题，再基于伪代码生成最终的可执行代码。
研究团队提出了一个包含六个步骤的框架：
1. 训练测试用例生成器（TCG），为代码测试提供标准化的环境。
2. 利用 MCTS 生成包含推理过程的代码数据。
3. 迭代微调策略模型，先生成伪代码，再生成完整代码。
4. 基于推理过程数据初始化过程奖励模型（PRM）。
5. 在 TCG 提供的结果奖励和 PRM 提供的过程奖励的双重引导下，通过强化学习和 MCTS 更新策略模型。
6. 利用优化后的策略模型生成新的推理数据，返回第 4 步迭代训练。
两阶段训练测试用例生成器
测试用例生成器的训练过程分为两个阶段：监督微调（SFT）和直接偏好优化（DPO）。SFT 阶段确保生成器的输出符合预定义格式，以便准确解析和提取生成的测试用例。DPO 阶段引导模型生成符合特定偏好的测试用例，进一步提高生成器的性能和可靠性。
实验表明，SFT 阶段过后，TCG 在标准代码上生成的测试用例通过率达到 80.8%，DPO 阶段进一步提升至 89.2%，大幅改善了生成器产出可靠测试用例的能力。
伪代码推理引导模型深入推理
研究者引入了基于伪代码的提示方法，作为引导模型进行深度推理的“认知工具”。他们定义了三个关键行为：使用伪代码定义算法结构、细化伪代码以及从伪代码生成代码。
实验表明，尽管整体通过率有所下降，但平均采样通过率显著提高，表明结合伪代码显著改善了推理过程的质量，为后续的自监督微调和强化学习提供了良好的起点。
自我对弈 + 强化学习
研究人员使用蒙特卡洛树搜索（MCTS）来构建步骤级别的过程奖励数据。这个过程涉及形成一个推理路径，该路径由一系列推理步骤组成，并最终产生一个可执行的代码。在 MCTS 的路径探索中，使用伪代码提示策略来引导推理过程。
终端节点的奖励值基于编译成功率和测试用例通过率计算。这些指标被用来评估生成的代码的质量和正确性。奖励值被反向传播到路径上的所有前序节点，为每个步骤分配一个奖励值。通过这种方式，构建了推理过程数据集，为策略模型的初始化和训练提供了基础。
过程奖励模型（PRM）的任务是为当前步骤分配一个奖励值，以估计其对最终答案的贡献。基于这些经过验证的正确推理解，策略模型得到初始化。
接下来，PRM 开始评估每一步推理对最终答案的贡献。在测试用例生成器（TCG）提供的结果奖励和 PRM 提供的过程奖励的双重引导下，策略模型通过强化学习不断改进。
更新后的策略模型被用来生成新的推理数据，补充到现有数据集中，形成自我对弈的闭环。这个数据生成-奖励建模-策略优化的迭代循环确保了系统推理能力的持续提升。
原创文章，作者：讯知在线，如若转载，请注明出处：http://bbs.xzxci.cn/2024/12/11/33076.shtml
