Verify Rethinking OPD Conclusion

用户2844

5月26日修改

Merge into verl opd

Iteration Distillation

vLLM与VeRL Inference 性能差异分析

Background

Verl 0.7.0的validation有严重bug, 相同模型相比于使用vllm的测试脚本会显著低​

并且对于低分的benchmark影响不大，高分的benchmark影响比较显著，在5-7%​

因此需要验证一下rethinking opd的结论是否正确

以下所有validation都会解耦训练和推理，训练完成后使用vllm脚本统一推理​

Verify Training Code

先要排除训练代码的影响

•
最新版verl sampled opd​

33%

•
我们的代码​

33%

verl实现的opd的效率会显著高于我们的实现，但是最后的performance都是可以几乎100%恢复teacher性能，怀疑应该是infra写的比我们好，或者verl 旧版本 train 的infra也有问题？​

Verify Information Gain

验证Ds 7B --> 1.5B是不是真的不涨点，以及Skywork 7B -> Ds 1.5B能涨多少​

•
Ds 7B --> 1.5B​

33%

确实一点不涨，完全符合论文的观察

•
Skywork 7B -> 1.5B​

33%

Verify Rethinking OPD Conclusion​