Business Trip: 2601-2602 verl + DanceGRPO
导言
ZJ内部出差，从0到1完成verl + MindSpeed MM + DanceGRPO算法的 t2v RL，达成reward快速持续上升。
时间线/里程碑¶
260109 - 260215
1.首周：了解现场客户的组织架构，对齐各部分进度，合作代码。 2.功能打通（2人合作）： 1. 首周： 1. 0114: Dataloader整改以支持推理输入； 2. 0115-0116: 整合ZJ现场环境，接入MM Model支持初始化； 2. 第二周： 1. 0119-0122: 单卡/减层/不加载RM RL流程通，但是推理出乱码； 2. 0122-0124: 权重转化、推理接入权重转化后权重、全层遇到CANN报错。 3. 第三周 1. 0126-0126: 更新模型最新结构、正常加载权重，修改推理逻辑分支，能正常推理出图片信息。 2. 0127-0128: 依据DanceGRPO算法更新， 3. ...