[train] 整理比赛最终训练架构

2026-07-27 12:48:12 +08:00
parent 60f7a08e91
commit d8c5d34091
13 changed files with 1106 additions and 74 deletions
@@ -0,0 +1,37 @@
+# 训练代码演进
+
+本项目将“训练代码架构”和“训练产生的模型 checkpoint”分别管理。代码、奖励、课程或观测契约发生变化时形成新的 Git 版本；同一架构下继续训练产生的模型编号作为实验和部署工件记录。
+
+| 版本 | 来源快照 | 主要目的 |
+| --- | --- | --- |
+| `v0.4.0` | `uni_mjlab(1)` | 第一份完整的新 MJCF 与新 mjlab 训练工程 |
+| `v0.5.0` | `uni_mjlab_new` | 扩大观测、延迟和动力学随机化，探索更强 Sim2Real 鲁棒性 |
+| `v0.6.0` | `best` | 面向比赛越障重新设计奖励、课程、站姿和诊断体系 |
+
+## 从随机化增强到比赛训练
+
+`v0.6.0` 不是简单地继续增大 `v0.5.0` 的随机范围。实践中重新降低了部分噪声、延迟和动力学随机化强度，并把训练重点转向可控的比赛任务课程：
+
+- 投影重力噪声由 `±0.08` 调回 `±0.05`。
+- 腿和轮动作最大随机延迟由 4 步调回 2 步。
+- 摩擦、刚度和阻尼随机化调回较窄范围。
+- 移除该阶段的连续机身外力扰动与腿部质量随机化。
+- 将 x、y 和 yaw 跟踪拆成独立奖励和独立指令课程。
+- 障碍由课程逐步释放，高墙训练地形改为五道重复横墙。
+- 增加楼梯侧向漂移和偏航漂移惩罚。
+- 增加大量只用于训练评估的误差、轮速、姿态和接触指标。
+
+这种调整反映的是从“广泛鲁棒性探索”转向“比赛场景定向优化”，不表示 `v0.5.0` 被删除；它仍由对应 Tag 完整保留。
+
+## 模型与比赛部署
+
+比赛训练可能先获得基模，再修改参数继续训练和筛选 checkpoint。最终关系为：
+
+```text
+训练代码架构：v0.6.0 / best
+比赛 Rough 策略：model_6800.onnx
+比赛真机工程：last_not_slalom_1050
+比赛得分：1050
+```
+
+`model_6800.onnx` 是比赛最终部署工件，不用模型编号替代训练代码版本号。它将在最终比赛部署版本中与运行配置一起归档。
@@ -10,6 +10,7 @@
 | `v0.3.1` | 实机记录 | 补充第一代 Sim2Real 实机视频 |
 | `v0.4.0` | 新训练基线 | 第一份完整的新 MJCF、新 mjlab 框架和 Rough 策略工程 |
 | `v0.5.0` | 随机化增强 | 扩大观测、延迟和动力学随机化，加入持续外力扰动 |
+| `v0.6.0` | 比赛训练架构 | 分轴奖励、自适应指令课程、障碍释放课程和比赛站姿 |

 ## `v0.4.0` 的模型变化

@@ -28,3 +29,16 @@
 - 执行器刚度和阻尼缩放由 `0.9–1.1` 扩大到 `0.5–1.5`。
 - 增加膝部和轮部质量的 `0.7–1.3` 随机缩放。
 - 增加作用于机身的连续随机外力和力矩扰动。
+
+## `v0.6.0` 的比赛训练架构
+
+- 保持 `v0.4.0` 引入的新 MJCF 和 mjlab 框架不变。
+- 将线速度奖励拆分为 x/y 两轴，并独立配置偏航角速度奖励。
+- 增加自适应 x/y/yaw 指令范围课程。
+- 增加障碍地形逐步释放与更严格的地形晋级逻辑。
+- 增加楼梯横向速度和偏航漂移约束。
+- 默认站姿调整为髋俯仰 `0.550`、膝关节 `-1.125`，初始机身高度为 `0.42 m`。
+- 增加速度误差、轮速跟踪、动作和姿态等训练诊断指标。
+- 该 Tag 保存比赛训练代码架构，不把每次继续训练产生的 checkpoint 误记为新的软件版本。
+
+训练阶段的详细关系见 [`training_evolution.md`](training_evolution.md)。